您所在的位置: 成果库 结合卷积和注意力的时空融合视频质量评估方法

结合卷积和注意力的时空融合视频质量评估方法

成果类型:: 发明专利

发布时间: 2023-12-27 10:36:09

科技成果产业化落地方案
方案提交机构:成果发布人| 黄哲芬 | 2023-12-27 10:36:09

本发明提供了结合卷积和注意力的时空融合视频质量评价方法,包括以下步骤:步骤S1:将视频质量评价数据集中的数据集进行预处理,使其大小一致,并划分训练集和测试集;步骤S2:设计结合卷积和注意力机制的空间特征提取网络;步骤S3:设计结合卷积和注意力的时间特征提取网络;步骤S4:设计基于注意力机制的时空特征融合网络;步骤S5:将视频分别送入设计好的空间特征提取网络和时间特征提取网络进行训练;步骤S6:将所提取的空间特征和时间特征送入时空特征融合网络,训练并保存时空特征融合网络。步骤S7:将测试视频送入空间特征提取网络和时间特征提取网络,然后将时间和空间特征送入时空特征融合网络得到视频的质量评估分数。

本发明的目的在于提供一种结合卷积和注意力的时空融合视频质量评估方法,能利用卷积和注意力对视频的时间维度和空间维度进行时间和空间特征的提取,并且运用时空融合网络进一步使时间特征结合空间特征来对整体视频进行质量评价,提高视频质量评价的性能。

为实现上述目的,本发明采用如下技术方案:结合卷积和注意力的时空融合视频质量评估方法,包括以下步骤:

步骤S1:将视频质量评价数据集中的数据集进行预处理,使其大小一致,并划分训练集和测试集;

步骤S2:设计结合卷积和注意力机制的空间特征提取网络;

步骤S3:设计结合卷积和注意力的时间特征提取网络;

步骤S4:设计基于注意力机制的时空特征融合网络;

步骤S5:将视频分别送入设计好的空间特征提取网络和时间特征提取网络进行训练,保存训练好的模型对视频进行空间特征和时间特征的提取;

步骤S6:将所提取的空间特征和时间特征送入时空特征融合网络,训练并保存时空特征融合网络;

步骤S7:将测试视频送入空间特征提取网络和时间特征提取网络,然后将时间和空间特征送入时空特征融合网络得到视频的质量评估分数。

近年来,随着科技的发展,通信网络网速提升、智能手机不断推出以及互联网视频平台的兴起,人们现在能够随时拍摄视频并在社交媒体上分享。这导致视频数量迅速增长,而视频数据在目标跟踪、自动驾驶、视频超分辨率、视频帧插值、视频背景提取、行人重识别等各个领域也变得十分重要。然而,普通用户可能因为缺乏专业的拍摄知识和设备,可能会因失焦、物体移动、相机抖动或曝光不足或者过度等原因导致所拍摄的视频失真。低质量的视频会对其在各个领域的应用性能和对人的视觉感受产生重大影响。因此,需要对视频失真情况进行评估,对视频的质量进行评价,并通过特定的视频恢复技术或者其他手段减少失真情况,以降低对后续视频处理环节的影响。视频质量评价是非常关键的一步,它可以用于从采集到最终显示整个流程的性能评估,实时视频的质量监控,以及其他视频处理技术的评估工具,促进相关技术的发展。综上所述,视频质量评价研究至关重要,已成为视频处理和人工智能等领域的重要研究课题。

视频质量评价方法主要分成传统方法和深度学习的方法。传统方法:使用手工设计的特征来提取视频中的相关信息,在通过处理后做回归得到质量评估分数。但这些方法缺少对空间复杂信息的收集以及时间特征的建模,限制了这些方法的有效性,并且最终效果也比较一般。而深度学习的方法如今来说是主流方法,借助深度学习强大的自动特征学习能力,来学习视频中的特征学习来对视频进行质量评价。一开始,研究人员注重帧与帧之间的时序关联及其可能对人类视觉感知造成的影响,他们将空间信息提取出来后使用一些时序网络来建模视频的时间信息。到了近几年,越来越多的学者开始关注到视频中仅仅利用视频的空间维度的信息已经不能很好地提升质量评价的效果,他们想办法单独将时间维度的信息也通过网络提取出来,然后在使用特定的方法进行利用得到视频的质量分数。但是,虽然使用了更复杂的模型,考虑了时间和空间特征,但是在其利用上却很简单并且效果一般,并没有带来预想之中的提升。现有的方法大多无法很好地利用视频的时间维度和空间维度的信息来进行质量评价。

发明人:牛玉贞 王镇隆 张博林福州大学(Fuzhou University),简称福大,位于福建省福州市,创建于1958年,是国家“双一流”建设高校,国家“211工程”建设高校,国家教育部、国家国防科技工业局与福建省人民政府共建高校,福建省三所重点建设的高水平大学之一,福建省一流大学建设高校,入选国家建设高水平大学公派研究生项目、教育部首批“卓越工程师教育培养计划”高校、新工科研究与实践项目、数据中国“百校工程”项目、国家“111计划”、“高校国际化示范学院推进计划”、国家级大学生创新创业训练计划、全国首批深化创新创业教育改革示范高校、中国政府奖学金来华留学生接收院校、全国专业学位研究生教育综合改革试点单位、国家集成电路人才培养基地、首批高等学校科技成果转化和技术转移基地、高校国家知识产权信息服务中心。

与现有技术相比,本发明具有以下有益效果:能利用卷积和注意力对视频的时间维度和空间维度进行时间和空间特征的提取,并且运用时空融合网络进一步使时间特征结合空间特征来对整体视频进行质量评价,提高视频质量评价的性能。

当前专利未经权利人许可不得实施,希望将科技成果转让给研发实力雄厚的企业,由受让人对科技成果实施转化。交易的是科技成果中的知识产权,可以包括专利权、专利申请权、技术秘密等。科技成果转让后,转让方获得转让费,不再是科技成果的所有人;受让方向转让方支付转让费,并成为科技成果的新的所有人。