本发明提出一种基于感知和记忆的视频动态质量评价系统,基于计算机系统,采用包括:感知特征提取模块和长短期记忆模块的视频动态质量评价模型PAM DVQI,对输入的视频输出用户体验质量评分;所述视频动态质量评价模型基于视频主观数据库,考虑HVS的视觉注意力机制以及记忆效应的时间依赖关系,结合ResNet网络和LSTM网络,构建并训练获得。相比于现有技术,根据采取对比算法、消融实验,对所提的模型进行性能分析的结果均具有显著优势。
本发明提出对视频的动态评价方案,除了考虑感知要素外,还引入记忆要素,以更好地衡量长视频的质量评价,为此,本发明提出一种基于感知和记忆的视频动态质量评价方案,并构建形成具备实用价值的评价系统,以提升了用户体验质量(QoE),特别是对于长视频的预测性能。
本发明在设计过程中,首先,通过主观实验,探究在不同视频播放模式下,视觉感知特性和人类记忆特性对用户体验质量的影响,构建了基于用户感知和记忆的视频质量数据库(Video Quality Database with Perception andMemory,PAM-VQD);其次,基于PAM-VQD数据库,采用深度学习的方法,结合视觉注意力机制,提取视频的深层感知特征,以精准评估感知对用户体验质量的影响;将前端网络输出的感知质量分数、播放状态以及自卡顿间隔作为三个特征输入长短期记忆网络,以建立视觉感知和记忆特性之间的时间依赖关系。最后,采取对比算法、消融实验,对PAM-DVQI模型进行性能分析。
发明人:林丽群 王艳婷 何嘉晨 暨书逸 郑阳 赵铁松
福州大学(Fuzhou University),简称福大,位于福建省福州市,创建于1958年,是国家“双一流”建设高校,国家“211工程”建设高校,国家教育部、国家国防科技工业局与福建省人民政府共建高校,福建省三所重点建设的高水平大学之一,福建省一流大学建设高校,入选国家建设高水平大学公派研究生项目、教育部首批“卓越工程师教育培养计划”高校、新工科研究与实践项目、数据中国“百校工程”项目、国家“111计划”、“高校国际化示范学院推进计划”、国家级大学生创新创业训练计划、全国首批深化创新创业教育改革示范高校、中国政府奖学金来华留学生接收院校、全国专业学位研究生教育综合改革试点单位、国家集成电路人才培养基地、首批高等学校科技成果转化和技术转移基地、高校国家知识产权信息服务中心。
评价单位:- (-)
评价时间:2023-12-15
综合评价
长短期记忆模块的LSTM网络配置为2个LSTM层和11个单元。
进一步地,所述视频主观数据库具体为考虑视觉感知特性和记忆特性对用户体验质量的影响构建获得的时长满足预设条件的视频主观数据库。
进一步地,所述视频主观数据库当中的视频包含多种播放模式,每种播放模式下包含多个视频,且对应有用户在不同播放模式下的视频主观质量评分。
相比于现有技术,该成果及其优选方案根据采取对比算法、消融实验,对所提的模型进行性能分析的结果均具有显著优势。
查看更多>