您所在的位置: 成果库 基于深度学习和可微分聚类的红外视频显著目标检测方法

基于深度学习和可微分聚类的红外视频显著目标检测方法

成果类型:: 发明专利

发布时间: 2023-12-26 13:05:56

科技成果产业化落地方案
方案提交机构:成果发布人| 黄哲芬 | 2023-12-26 13:05:56

本发明涉及一种基于深度学习和可微分聚类的红外视频显著目标检测方法,包括:1、获取红外视频图像帧,构建红外视频显著性数据集;2、构建红外视频显著目标检测模型,其主要由基于Vgg16网络的特征提取网络、基于注意力和ConvLSTM的显著性检测模型以及基于可微分聚类的显著目标细分割模型组成,通过特征提取网络对输入的图像进行特征提取,再将提取的特征输入显著性检测模型,进而得到动态显著性图,最后用显著目标细分割模型进行精细化分割,得到图像分割结果;通过数据集对红外视频显著目标检测模型进行训练;3、将待检测图像输入训练好的模型,得到检测结果。该方法可以提高红外视频显著性检测的精度,清晰、准确地检测出红外视频对象中的显著性区域

本发明采用的技术方案是:一种基于深度学习和可微分聚类的红外视频显著目标检测方法,包括以下步骤:步骤1、获取红外视频图像帧,构建红外视频显著性数据集;步骤2、构建红外视频显著目标检测模型,所述红外视频显著目标检测模型主要由基于Vgg16网络的特征提取网络、基于注意力和ConvLSTM的显著性检测模型以及基于可微分聚类的显著目标细分割模型组成,所述红外视频显著目标检测模型通过特征提取网络对输入的图像进行特征提取,获取一系列卷积特征,再将得到的一系列卷积特征输入显著性检测模型,得到隐藏状态Ht,然后将隐藏状态Ht与1×1卷积核卷积得到动态显著性图,最后将得到的动态显著性图用显著目标细分割模型进行精细化分割,得到图像分割结果;通过所述红外视频显著性数据集对所述红外视频显著目标检测模型进行训练,得到训练好的红外视频显著目标检测模型;步骤3、将待检测图像输入训练好的红外视频显著目标检测模型,得到最终的检测结果。

目前,显著性检测主要在可见光图像上进行。如帧差法、背景差法和光流法,将单帧图像的空间显著性特征和视频的运动特征进行了有效融合,能够很好的突显出视频中的显著性目标,然而,若将这些方法直接用在红外视频上时,效果会降低许多。与可见光的显著性检测相比,红外成像有其特殊机理,用于可见光视频的属性在用于红外视频时会无效,并且红外视频含有较强的背景杂波,会使显著性目标被背景淹没。

近年来,红外视频目标分割的方法较多。基于经典单阈值分割将图像划分为背景和目标两部分,再选取目标灰度及平均值为图像做二维双阈值分割,能有效提取目标,但抗噪效果较差。基于测地距离、外观重叠信息和边缘信息来自适应调整各个约束项的交互式图割方法,减少了噪声干扰且优化了分割效果,但是需要手动选取前景和背景。为自动区分背景与前景将显著性主体的像素级别分割出来,研究人员引入图像显著性检测方法,利用显著性映射将空间信息融合到传统的高斯混合模型中进行图像分割,利用显著图作为高斯混合模型的空间信息,有效提升目标分割精度,但收敛过程计算代价大且对大规模数据迭代速度慢,不适用于工业生产领域。

发明人:孙磊 严欣 廖一鹏福州大学(Fuzhou University),简称福大,位于福建省福州市,创建于1958年,是国家“双一流”建设高校,国家“211工程”建设高校,国家教育部、国家国防科技工业局与福建省人民政府共建高校,福建省三所重点建设的高水平大学之一,福建省一流大学建设高校,入选国家建设高水平大学公派研究生项目、教育部首批“卓越工程师教育培养计划”高校、新工科研究与实践项目、数据中国“百校工程”项目、国家“111计划”、“高校国际化示范学院推进计划”、国家级大学生创新创业训练计划、全国首批深化创新创业教育改革示范高校、中国政府奖学金来华留学生接收院校、全国专业学位研究生教育综合改革试点单位、国家集成电路人才培养基地、首批高等学校科技成果转化和技术转移基地、高校国家知识产权信息服务中心。

与现有技术相比,本发明具有以下有益效果:提高了一种基于深度学习和可微分聚类的红外视频显著目标检测方法,该方法采用由“粗”到“精”的思想,将显著性目标检测问题分为目标定位和分割精细化两个步骤,通过基于注意力和ConvLSTM的显著性检测模型检测目标显著性,再通过基于可微分聚类的显著目标细分割模型对显著图进行精细化分割,从而能够有效提高红外视频显著性检测的精度,清晰而准确地检测出红外视频对象中的显著性区域。

当前专利未经权利人许可不得实施,希望将科技成果转让给研发实力雄厚的企业,由受让人对科技成果实施转化。交易的是科技成果中的知识产权,可以包括专利权、专利申请权、技术秘密等。科技成果转让后,转让方获得转让费,不再是科技成果的所有人;受让方向转让方支付转让费,并成为科技成果的新的所有人。