您所在的位置: 成果库 一种多信息融合的立体视频显著性检测方法

一种多信息融合的立体视频显著性检测方法

成果类型:: 发明专利

发布时间: 2022-05-08 10:57:34

科技成果产业化落地方案
方案提交机构:浙江省温州市| 姚情秘 | 2022-12-11 19:44:16

本发明方法公开了一种多信息融合的立体视频显著性检测方法。本发明方法首先通过2D视频序列的色彩特征、空间特征、中心位置特征计算,得到2D空间显著图;基于时空一致性,在2D空间显著图的基础上获得2D运动显著图;然后利用不同区域的深度差异度计算深度空间显著图;提取深度变化的信息,获得深度运动图;最后使用多层细胞自动机融合产生的视频序列的四种显著图,得到立体视频的显著图。本发明方法根据人眼视觉注意力对色彩、空间位置、物体远近的敏感机制,尤其利用深度信息与运动信息在立体视觉显著性检测中的重要作用,融合了多种立体视频在空间和时间上的特征,消除单一特征计算显著性带来的噪声影响。

本发明方法首先通过2D视频序列的色彩特征、空间特征、中心位置特征计算,得到2D空间显著图;基于时空一致性,在2D空间显著图的基础上获得2D运动显著图;然后利用不同区域的深度差异度计算深度空间显著图;提取深度变化的信息,获得深度运动图;最后使用多层细胞自动机融合产生的视频序列的四种显著图,得到立体视频的显著图。本发明方法根据人眼视觉注意力对色彩、空间位置、物体远近的敏感机制,尤其利用深度信息与运动信息在立体视觉显著性检测中的重要作用,融合了多种立体视频在空间和时间上的特征,消除单一特征计算显著性带来的噪声影响。

本发明方法提出的立体视频显著性检测,不仅考虑立体视频平面的时间与空间信息,而且还将深度信息加入其中

本发明属于图像处理技术领域,具体是立体视频处理技术领域,涉及一种多信息融合的立体视频显著性检测方法。

多媒体数据呈现爆炸式的增长趋势。其中,图像和视频数据因其生动、形象、真实等特点,越来越多地出现在人们生活的方方面面,成为海量视觉信息的主流。计算机智能地帮助人类分析和处理图像数据成为主要趋势

本发明方法以视频序列的帧为单位,利用空间和时间上的平面与深度信息分别计算2D空间显著图、深度空间显著图、2D运动显著图、深度运动显著图 ,然后采用多层元胞自动机(Multi‑layer Cellular Automata,MCA)来融合得到立体视频的显著图。

该模型可以直接应用在3D视频处理,3D视频/图像物体识别等领域。

周洋:2020年7月于吉林大学取得理学博士学位,同年9月进入温州大学化材学院,依托浙江省碳材料技术研究重点实验室,主要开展锂硫电池、硅碳负极,固态电解质,锌离子电池等新能源材料的合成、机理及应用研究。先后主持浙江省自然科学基金青年基金项目,广东省先进储能材料重点实验室开放课题等纵向课题,以第一作者或通讯者在***, Energy Storage Mater., Nano Energy, ACS Nano, Small, ***, ***, Nanoscale等国际权威期刊上发表SCI论文10余篇,其中影响因子>10以上6篇,热点论文1篇,高被引论文4篇,授权发明专利4项。

本发明方法在立体视频处理研究领域中提出了一种多种信息融合的立体视频显著性检测技术,根据人眼视觉注意力对色彩、空间位置、物体远近的敏感机制。改进了已有的立体视频显著目标检测算法,尤其利用深度信息与运动信息在立体视觉显著性检测中的重要作用。本发明融合了多种立体视频在空间和时间上的特征,消除单一特征计算显著性带来的噪声影响。该模型可以直接应用在3D视频处理,3D视频/图像物体识别等领域。

技术合作,遣派学者专家到国外或者其他地区的高校,研究机构或者生产企业与对方的学者,专家合作进行研究设计,或者双方学者,专家轮流到对方学校,研究机构或者企业进行研究。