科创中国
一种基于显著性的立体三维视频错误隐藏方法
成果类型：: 发明专利
发布时间: 2022-05-08 11:05:04
科技成果产业化落地方案
方案提交机构：浙江省温州市| 姚情秘 | 2022-12-10 23:27:49
本发明公开了一种基于显著性的立体三维视频错误隐藏方法。传统的错误隐藏技术在视频流在传输过程中发生整帧丢失时恢复效果差。本发明方法首先获取丢失帧的运动显著性图、深度显著性图，深度边缘显著性图，然后融合运动显著性图和深度显著性图并块化，再与深度边缘显著性图合并得到最终显著性图，并进行显著等级划分。对高显著等级的区域采用视点间搜索像素填补和候选运动矢量补偿恢复，对中显著等级的区域采用时域搜索像素填补和视点间搜索像素填补，对低显著等级区域采用时域帧像素拷贝填补。本发明方法除了结合3D—HEVC特性提出新的错误隐藏方法，考虑了视频画面的显著性，对立体视频在网络传输中发生的整帧丢失现象有很好的恢复效果。
本发明方法除了结合3D—HEVC特性提出新的错误隐藏方法，考虑了视频画面的显著性，对立体视频在网络传输中发生的整帧丢失现象有很好的恢复效果。
针对视频流在传输过程中发生整帧丢失时，传统的错误隐藏技术恢复效果较差的问题，提供一种基于显著性的立体三维视频错误隐藏方法，本发明方法不仅提出了新的错误隐藏方法，而且考虑了人眼感知特性显著性的提取。
本发明属于计算机领域，具体是视频编解码技术领域，涉及一种基于显著性的立体三维视频错误隐藏方法
错误隐藏是针对视频流传输丢包，既不用像FEC(前向纠错)那样消耗额外带宽，也不用像ARQ(自动重传)那样引入额外的延时，利用帧间和帧内的冗余性，使用已正确接受的信息来隐藏丢失帧中的错误区域。视频流在传输过程中容易因网络拥塞或者带宽受限等问题发生丢包现象，从而降低当前帧及后续帧的解码质量，使观众的视觉体验变差。为解决这一问题，在解码端应用错误隐藏技术来修复差错帧
本发明方法基于3D-HEVC框架，利用三种显著性图确定显著等级，根据显著等级的不同采用不同的恢复方式，对显著等级为高的区域使用MV补偿以及搜索视点间前后帧相似块的方法，对显著等级为中的区域使用搜索前后帧和视点帧相似块的方法，对显著等级为低的区域使用搜索前后帧相似块的方法来恢复
周洋：2020年7月于吉林大学取得理学博士学位，同年9月进入温州大学化材学院，依托浙江省碳材料技术研究重点实验室，主要开展锂硫电池、硅碳负极，固态电解质，锌离子电池等新能源材料的合成、机理及应用研究。先后主持浙江省自然科学基金青年基金项目，广东省先进储能材料重点实验室开放课题等纵向课题，以第一作者或通讯者在***, Energy Storage Mater., Nano Energy, ACS Nano, Small, ***, ***, Nanoscale等国际权威期刊上发表SCI论文10余篇，其中影响因子>10以上6篇，热点论文1篇，高被引论文4篇，授权发明专利4项。
本发明方法方法针对基于3D-HEVC框架对立体视频在传输过程中发生整帧丢失的情况，利用丢失帧的深度帧以及前后参考帧计算获得三种显著性图，通过融合块化及合并得到最终显著性图，对不同显著等级的区域采用不同的恢复方法，仿真实验表明该方法对立体视频流传输整帧丢失有很好的恢复效果。
技术合作，遣派学者专家到国外或者其他地区的高校，研究机构或者生产企业与对方的学者，专家合作进行研究设计，或者双方学者，专家轮流到对方学校，研究机构或者企业进行研究。
下载app