成果介绍
本发明提供了结合卷积和注意力的时空融合视频质量评价方法,包括以下步骤:步骤S1:将视频质量评价数据集中的数据集进行预处理,使其大小一致,并划分训练集和测试集;步骤S2:设计结合卷积和注意力机制的空间特征提取网络;步骤S3:设计结合卷积和注意力的时间特征提取网络;步骤S4:设计基于注意力机制的时空特征融合网络;步骤S5:将视频分别送入设计好的空间特征提取网络和时间特征提取网络进行训练;步骤S6:将所提取的空间特征和时间特征送入时空特征融合网络,训练并保存时空特征融合网络。步骤S7:将测试视频送入空间特征提取网络和时间特征提取网络,然后将时间和空间特征送入时空特征融合网络得到视频的质量评估分数。
成果亮点
提供一种结合卷积和注意力的时空融合视频质量评估方法,能利用卷积和注意力对视频的时间维度和空间维度进行时间和空间特征的提取,并且运用时空融合网络进一步使时间特征结合空间特征来对整体视频进行质量评价,提高视频质量评价的性能。
为实现上述目的,本发明采用如下技术方案:结合卷积和注意力的时空融合视频质量评估方法,包括以下步骤:
步骤S1:将视频质量评价数据集中的数据集进行预处理,使其大小一致,并划分训练集和测试集;
步骤S2:设计结合卷积和注意力机制的空间特征提取网络;
步骤S3:设计结合卷积和注意力的时间特征提取网络;
步骤S4:设计基于注意力机制的时空特征融合网络;
步骤S5:将视频分别送入设计好的空间特征提取网络和时间特征提取网络进行训练,保存训练好的模型对视频进行空间特征和时间特征的提取;
步骤S6:将所提取的空间特征和时间特征送入时空特征融合网络,训练并保存时空特征融合网络;
步骤S7:将测试视频送入空间特征提取网络和时间特征提取网络,然后将时间和空间特征送入时空特征融合网络得到视频的质量评估分数。
团队介绍
发明人:牛玉贞 王镇隆 张博林
福州大学(Fuzhou University),简称福大,位于福建省福州市,创建于1958年,是国家“双一流”建设高校,国家“211工程”建设高校,国家教育部、国家国防科技工业局与福建省人民政府共建高校,福建省三所重点建设的高水平大学之一,福建省一流大学建设高校,入选国家建设高水平大学公派研究生项目、教育部首批“卓越工程师教育培养计划”高校、新工科研究与实践项目、数据中国“百校工程”项目、国家“111计划”、“高校国际化示范学院推进计划”、国家级大学生创新创业训练计划、全国首批深化创新创业教育改革示范高校、中国政府奖学金来华留学生接收院校、全国专业学位研究生教育综合改革试点单位、国家集成电路人才培养基地、首批高等学校科技成果转化和技术转移基地、高校国家知识产权信息服务中心。
成果资料
产业化落地方案