科创中国
一种跨模态交互RGB-D图像显著区域检测方法
成果类型：: 发明专利
发布时间: 2022-05-08 11:04:24
科技成果产业化落地方案
方案提交机构：浙江省温州市| 姚情秘 | 2022-12-10 23:31:38
本发明方法公开了一种跨模态交互RGB‑D图像显著区域检测方法。本发明方法首先分别从彩色图和深度图中利用VGG16网络提取RGB特征和深度特征；然后在RGB‑D交互模块中RGB特征和深度特征相互纠正，并增强边缘细节；深度权重分配模块中根据深度特征计算处理后的多个特征的融合权重；最后在注意力更新模块中细化融合后的特征。本发明方法将RGB与深度联系起来，通过补充丰富的边界信息来增强目标区域；在多尺度深度权重模块中计算权重，根据深度图的质量来决定其对显著区域的影响程度，消除了低质量深度图带来的负面影响，并提升算法的整体性能。本发明方法可以直接应用在3D图像处理，3D质量评估以及物体识别等工程领域中。
本发明方法可以直接应用在3D图像处理，3D质量评估以及物体识别等工程领域中。
侧重于有效地探索和建立跨模态特征的互补性和协作性，同时避免错误的深度图带来的负面影响，提供一种基于注意力机制的跨模态交互RGB‑D图像显著区域检测方法。
本发明方法首先分别从彩色图和深度图中利用VGG16网络提取RGB特征和深度特征；其次在RGB‑D交互模块中RGB特征和深度特征相互纠正，并增强边缘细节；然后在深度权重分配模块中根据深度特征计算处理后的多个特征的融合权重；最后在注意力更新模块中细化融合后的特征，并得到最终显著图
本发明属于图像处理技术领域，具体是立体图像处理技术领域，涉及一种基于注意力机制的跨模态交互RGB‑D图像显著区域检测方法。
大部分RGB‑D算法都把深度信息作为RGB信息的补充，传统的融合特征和利用前后文语义的深度学习类算法都难以解决深度信息带来的区域错误及边界模糊问题。为了降低/消除低质量深度图对显著性检测准确性的影响。本发明侧重于有效地探索和建立跨模态特征的互补性和协作性，同时避免错误的深度图带来的负面影响。
周洋：2020年7月于吉林大学取得理学博士学位，同年9月进入温州大学化材学院，依托浙江省碳材料技术研究重点实验室，主要开展锂硫电池、硅碳负极，固态电解质，锌离子电池等新能源材料的合成、机理及应用研究。先后主持浙江省自然科学基金青年基金项目，广东省先进储能材料重点实验室开放课题等纵向课题，以第一作者或通讯者在***, Energy Storage Mater., Nano Energy, ACS Nano, Small, ***, ***, Nanoscale等国际权威期刊上发表SCI论文10余篇，其中影响因子>10以上6篇，热点论文1篇，高被引论文4篇，授权发明专利4项。
本发明的RGB‑D交互模块将RGB与深度联系起来，并通过补充丰富的边界信息来增强目标区域；在多尺度深度权重模块中计算权重，根据深度图的质量来决定其对显著区域的影响程度，在一定程度上消除了低质量深度图带来的负面影响；最后通过一个循环注意力模块全面理解场景信息，学习融合特征的内部高级语义关系，能够提升算法的整体性能。该立体图像显著性方法可以直接应用在3D图像处理，3D质量评估以及物体识别等工程领域中。
技术合作，遣派学者专家到国外或者其他地区的高校，研究机构或者生产企业与对方的学者，专家合作进行研究设计，或者双方学者，专家轮流到对方学校，研究机构或者企业进行研究。
下载app