您所在的位置: 成果库 基于感知和记忆的视频动态质量评价系统

基于感知和记忆的视频动态质量评价系统

成果类型:: 发明专利

发布时间: 2023-12-14 16:49:15

科技成果产业化落地方案
方案提交机构:成果发布人| 黄哲芬 | 2023-12-14 16:49:15

本发明提出一种基于感知和记忆的视频动态质量评价系统,基于计算机系统,采用包括:感知特征提取模块和长短期记忆模块的视频动态质量评价模型PAM DVQI,对输入的视频输出用户体验质量评分;所述视频动态质量评价模型基于视频主观数据库,考虑HVS的视觉注意力机制以及记忆效应的时间依赖关系,结合ResNet网络和LSTM网络,构建并训练获得。相比于现有技术,根据采取对比算法、消融实验,对所提的模型进行性能分析的结果均具有显著优势。

本发明提出对视频的动态评价方案,除了考虑感知要素外,还引入记忆要素,以更好地衡量长视频的质量评价,为此,本发明提出一种基于感知和记忆的视频动态质量评价方案,并构建形成具备实用价值的评价系统,以提升了用户体验质量(QoE),特别是对于长视频的预测性能。本发明在设计过程中,首先,通过主观实验,探究在不同视频播放模式下,视觉感知特性和人类记忆特性对用户体验质量的影响,构建了基于用户感知和记忆的视频质量数据库(Video Quality Database with Perception andMemory,PAM-VQD);其次,基于PAM-VQD数据库,采用深度学习的方法,结合视觉注意力机制,提取视频的深层感知特征,以精准评估感知对用户体验质量的影响;将前端网络输出的感知质量分数、播放状态以及自卡顿间隔作为三个特征输入长短期记忆网络,以建立视觉感知和记忆特性之间的时间依赖关系。最后,采取对比算法、消融实验,对PAM-DVQI模型进行性能分析。

由于网络环境的多变性,视频播放过程中容易出现卡顿、比特率波动等情况,严重影响了终端用户的体验质量。为优化网络资源分配并提升用户观看体验,准确评估视频质量至关重要。

现有的视频质量评价方案主要针对短视频,普遍关注人眼视觉感知特性,较少考虑人类记忆特性对视觉信息的存储和表达能力,以及视觉感知和记忆特性之间的相互作用。

相比于短视频,考虑用户观看长视频的比重也相当大,且对长视频的质量要求相对更高,现有技术的视频质量评价方案对长视频的评判效果不佳,与实际用户体验质量不符。

发明人:林丽群 王艳婷 何嘉晨 暨书逸 郑阳 赵铁松福州大学(Fuzhou University),简称福大,位于福建省福州市,创建于1958年,是国家“双一流”建设高校,国家“211工程”建设高校,国家教育部、国家国防科技工业局与福建省人民政府共建高校,福建省三所重点建设的高水平大学之一,福建省一流大学建设高校,入选国家建设高水平大学公派研究生项目、教育部首批“卓越工程师教育培养计划”高校、新工科研究与实践项目、数据中国“百校工程”项目、国家“111计划”、“高校国际化示范学院推进计划”、国家级大学生创新创业训练计划、全国首批深化创新创业教育改革示范高校、中国政府奖学金来华留学生接收院校、全国专业学位研究生教育综合改革试点单位、国家集成电路人才培养基地、首批高等学校科技成果转化和技术转移基地、高校国家知识产权信息服务中心。

长短期记忆模块的LSTM网络配置为2个LSTM层和11个单元。

进一步地,所述视频主观数据库具体为考虑视觉感知特性和记忆特性对用户体验质量的影响构建获得的时长满足预设条件的视频主观数据库。

进一步地,所述视频主观数据库当中的视频包含多种播放模式,每种播放模式下包含多个视频,且对应有用户在不同播放模式下的视频主观质量评分。

相比于现有技术,本发明及其优选方案根据采取对比算法、消融实验,对所提的模型进行性能分析的结果均具有显著优势。

当前专利未经权利人许可不得实施,希望将科技成果转让给研发实力雄厚的企业,由受让人对科技成果实施转化。交易的是科技成果中的知识产权,可以包括专利权、专利申请权、技术秘密等。科技成果转让后,转让方获得转让费,不再是科技成果的所有人;受让方向转让方支付转让费,并成为科技成果的新的所有人。