科创中国
语义分割方法、装置、电子设备及存储介质
发布时间: 2023-09-05
基本信息
合作方式：
技术服务
成果类型：
发明专利
行业领域：
电子信息技术
成果介绍
本申请提供了一种基于深度图的语义分割方法、装置、电子设备及存储介质，涉及图像处理技术领域。其中，该语义分割方法包括：获取目标场景下的深度图像；调用预训练模型对所述深度图像进行模态转换，得到自然图像；所述预训练模型是经过训练、且具有在所述深度图像与所述自然图像之间进行模态转换的能力的机器学习模型；将所述深度图像和所述自然图像进行模态融合，以利用所述自然图像对所述深度图像进行额外图像信息的补充；针对模态融合后的图像进行语义分割，得到语义分割结果。本申请解决了相关技术中语义分割的精度和功耗难以平衡的问题。
成果亮点
1.一种基于深度图的语义分割方法，其特征在于，所述方法包括：
获取目标场景下的深度图像；
调用预训练模型对所述深度图像进行模态转换，得到自然图像；所述预训练模型是经过训练、且具有在所述深度图像与所述自然图像之间进行模态转换的能力的机器学习模型；
将所述深度图像和所述自然图像进行模态融合，以利用所述自然图像对所述深度图像进行额外图像信息的补充；
针对模态融合后的图像进行语义分割，得到语义分割结果。
2.如权利要求1所述的方法，其特征在于，所述预训练模型包括第一图像扩散模型分支和第二图像扩散模型分支；其中，
所述第一图像扩散模型分支用于学习所述深度图像；
所述第二图像扩散模型分支用于在提示信息的控制下学习所述深度图像；所述提示信息用于描述所述目标场景中的至少一个目标。
团队介绍
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
成果资料
产业化落地方案
下载app