您所在的位置: 成果库 一种基于深度神经网络的快速视频编码方法

一种基于深度神经网络的快速视频编码方法

成果类型:: 发明专利

发布时间: 2022-05-08 10:59:03

科技成果产业化落地方案
方案提交机构:浙江省温州市| 姚情秘 | 2022-12-11 00:15:47

本发明公开了一种基于深度神经网络的快速视频编码方法。本发明包括基于深度神经网络的CU划分模块、基于邻域相关性的PU模式选择模块;CU块在帧内编码时会先经过PU模式选择计算率失真代价,此时先利用基于邻域相关性的PU模式选择模块进行优化,通过轻量级HCT模型的预测结果来减少RDO计算的候选模式数量;PU模式选择结束后,编码器会进行CU块深度判决,判断该CU块是否进行划分,此时由基于深度神经网络的CU划分模块进行优化,从HCT模型获得预测结果来判断是否提前终止划分。否则继续向下划分子CU块,并继续进行PU模式选择和CU块划分判决。本发明降低了CU递归划分的复杂度,简化了帧内预测模式的选择过程,有效地提高了HEVC编码的时间效率。

本发明降低了CU递归划分的复杂度,简化了帧内预测模式的选择过程,有效地提高了HEVC编码的时间效率

针对现有HEVC视频编码复杂高,整体编码时间长的缺点,提出了一种基于深度神经网络的快速视频编码方法,利用基于卷积和自注意力机制的深度神经网络的强大特征提取与学习能力,在保证编码性能的同时实现快速编码

本发明提出了一种基于深度神经网络的快速视频编码方法 ,具体实现包括基于深度神经网络的CU划分模块、基于邻域相关性的PU模式选择模块。基于深度神经网络的CU划分模块是先利用神经网络自上而下预测各CU块的划分结果,然后利用阈值优化预测结果,减少错误预测的产生,最后编码器在编码时根据划分结果来判断当前CU块是否提前终止划分。基于邻域相关性的PU模式选择模块,先是利用神经网络预测最佳模式在RMD粗选后的候选模式列表中的位置,通过丢弃其后的模式来避免一些冗余模式进入RDO计算,同时对最有可能模式(MPM)进行优化,减少候选列表中MPM的数量,从而达到减少模式计算量,降低PU模式选择复杂度的目的。 本发明利用视频图像中的CU深度和PU预测模式在邻域间的相关性,降低了CU递归划分的复杂度,简化了帧内预测模式的选择过程,有效地提高了HEVC的编码效率

本发明属于高效视频编码(HEVC)技术领域,尤其涉及一种低复杂度的快速HEVC帧内视频编码方法。 

视频编码联合开发组(JCT‑VC)在2012年开发的最新视频编码标准—高效视频编码(HEVC)显著提高了编码性能。与之前的视频编码标准H .264/AVC相比,HEVC使用了几种精心设计的方法,在相同的视频压缩质量下节省了大约50%的码率。具体来说,对于帧内编码,基于四叉树结构的编码单元(CU)被递归地划分成64×64到8×8块;此外,对于预测单元(PU),最多允许35种帧内预测模式,包括DC、Planar以及32种角度预测模式

周洋:2020年7月于吉林大学取得理学博士学位,同年9月进入温州大学化材学院,依托浙江省碳材料技术研究重点实验室,主要开展锂硫电池、硅碳负极,固态电解质,锌离子电池等新能源材料的合成、机理及应用研究。先后主持浙江省自然科学基金青年基金项目,广东省先进储能材料重点实验室开放课题等纵向课题,以第一作者或通讯者在***, Energy Storage Mater., Nano Energy, ACS Nano, Small, ***, ***, Nanoscale等国际权威期刊上发表SCI论文10余篇,其中影响因子>10以上6篇,热点论文1篇,高被引论文4篇,授权发明专利4项。

(1)本发明对视频序列采用批量化预测方法,只需运行一次就可以得到CU块或PU块的预测结果,可显著降低神经网络的预测时间。本发明采用提前终止CU块划分的方法,以及利用预测结果来减少PU块在RMD粗选后进入RDO计算的模式数量,并对MPM模式也进行优化以减少候选列表中的模式数量,实现了快速编码。(2)与现有技术中的CNN结构相比,HCT模型不仅可以自动提取图像块的相关局部特征,还具有提取全局信息的能力,提高了模型的预测准确率以及泛化能力,并行化的计算特性更使得模型的计算复杂度降低,所耗费的内存资源大大减少。本发明采用的数据集规模远小于现有技术中CNN网络所需的数据集,这使得模型的训练时间大大降低,在保证时间复杂度大幅度降低的情况下,码率增加不多,实用性更强。(3)本发明对A(2560×1600)、B(1920×1080)、C(832×480)、D(416×240)、E(1280×720)这5种不同分辨率的视频序列进行仿真,实验结果表明,平均时间效率可达70%左右,码率仅增加约2%。 

技术合作,遣派学者专家到国外或者其他地区的高校,研究机构或者生产企业与对方的学者,专家合作进行研究设计,或者双方学者,专家轮流到对方学校,研究机构或者企业进行研究。