多模态的深度信息融合和注意力学习的显著性检测方法

发布时间: 2022-11-09

来源: 试点城市（园区）

基本信息

合作方式：技术许可

成果类型：发明专利

行业领域：

电子信息技术

成果介绍

本发明公开了一种多模态的深度信息融合和注意力学习的显著性检测方法，其在训练阶段构建卷积神经网络，隐层包括RGB图神经网络块、RGB图最大池化层、RGB图上采样神经网络块、RGB图融合层、深度图神经网络块、深度图最大池化层、深度图上采样神经网络块、深度图融合层、RGB图深度图融合层、注意力机制模型；将训练集中的彩色真实物体图像和深度图像输入到卷积神经网络中进行训练，得到两幅显著性检测预测图和一幅显著性边界预测图；通过计算得到的三幅预测图各自对应的损失函数值，得到卷积神经网络训练模型；在测试阶段利用卷积神经网络训练模型对待显著性检测的图像进行预测，得到预测显著性检测图像；优点是显著性检测准确率高。

成果亮点

在RGB‑D数据库中采用深度学习的显著性检测方法，直接进行像素级别端到端的显著性检测，只需要将训练集中的图像输入进模型框架中训练，得到权重与模型，即可在测试集进行预测。目前，基于RGB‑D数据库的深度学习显著性检测主要用的结构为编码‑译码架构，在如何利用深度信息的方法上有三种：第一种方法就是直接将深度信息与彩色图信息叠加为一个四维的输入信息或在编码过程中将彩色图信息和深度信息进行相加或者叠加，这类方法称为前融合；第二种方法则是将在编码过程中对应的彩色图信息和深度信息利用跳层(skip connection)的方式相加或者叠加到对应的译码过程中，这类称为后融合；第三种方法则是分类利用彩色图信息和深度信息进行显著性预测，将最后的结果融合。上述第一种方法，由于彩色图信息和深度信息的分布有较大差异，因此直接在编码过程中加入深度信息会在一定程度上添加了噪声。

团队介绍

周武杰，1983年9月出生，副教授/博士后，硕士生导师，浙江省电子学会理事，IEEE成员，CCF成员，中国人工智能学会会员，浙江省“计算机科学与技术”一流学科B类方向负责人。2012年入选"青年骨干教师"，2015年入选"优秀青年教师资助计划"，2016年入选"科大青年英才"，2022年入选斯坦福大学发布的全球前2%顶尖科学家榜单。浙江大学信息与通信工程专业博士后，国家留学基金委公派新加坡南洋理工大学访问学者。主要从事人工智能与深度学习、机器视觉与模式识别、图像处理等方面的研究;近几年以第一作者在AAAI、TIP、TNNLS、TCSVT、TMM、TITS、TSTSP、TSMC、TBC、TGRS、TCI、MIS、TCDS、TETCI、TIV、PR和中国科学等国际权威SCI期刊或核心期刊上发表学术论文50多篇

成果资料

产业化落地方案

点击查看

成果综合评价报告

评价单位：- (-) 评价时间：2022-12-01

朱永红

徐州工程学院信息工程学院

副教授

综合评价

该成果利用深度信息的时候创新性地将深度信息用来检测显著物体的边界，并在不同模态即彩色图像和深度图像的融合过程中增加了注意力学习机制即注意力机制模型，通过学习不同输入的权重参数进而优化融合的结果，这种融合方式避免了直接对不同模态的信息相加而造成的信息互相干扰，同时采用注意力机制模型能够进行更加有效地融合，进而在训练集与测试集上都能得到较好的检测效果。该项目技术思路方向很好，未来市场空间大，有利于当前政策要求，转化成熟度很高，值得支持推广。建议强化相应产品开发，加大产业链开发力度。

科创中国

友情链接

国际技术贸易

海外专利信息资源系统

省级中心站