基于多区域特征融合的无参考屏幕内容图像质量评估方法
成果类型:: 发明专利
发布时间: 2023-12-26 09:30:19
本发明涉及一种基于多区域特征融合的无参考屏幕内容图像质量评估方法。包括:对失真屏幕内容图像数据集中的数据进行数据预处理;设计自适应特征提取模块,自适应地提取失真屏幕内容图像块中文本区域和图像区域的不同尺度特征,并基于注意力机制对文本区域特征和图像区域特征进行融合;设计局部图像信息交互模块,通过引入自注意力机制来增强失真屏幕内容图像中任意两个图像块之间的信息交互,赋予各个图像块不同的关注权重;设计基于多区域特征融合的无参考图像质量评估网络,训练得到无参考屏幕内容图像质量评估模型;将待测的失真屏幕内容图像输入到训练好的的无参考屏幕内容图像质量评估模型中,输出对应的质量评估分数。
提供一种基于多区域特征融合的无参考屏幕内容图像质量评估方法,该方法基于多区域局部特征融合的思想,通过融合多个局部图像块的特征以表征图像的整体质量,从而减少使用单个图像块进行训练所带来的质量分数偏差。同时在设计卷积神经网络的卷积层时通过使用不同大小的卷积核,可以更有效地提取屏幕内容图像中文本区域和图像区域的不同特征,并且使用注意力机制不仅可以对不同尺度的文本特征和图像特征进行有效融合,还能赋予每个图像块不同程度的关注权重。整体上,该方法相较于其他方法可以取得更高的主客观视觉感知一致性。
近年来,随着移动设备、多媒体应用和信息传播技术的快速发展,远程计算和通信得到了广泛应用,由各种电子终端设备生成的实时变化的屏幕内容图像日益频繁地出现在人们的日常生活中。相比于传统的自然图像,屏幕内容图像是一种新型的图像类型,其具有更多的文本、图标、图形及特殊的结构布局信息和统计特征,屏幕内容图像中的锐利边缘数量远超过自然图像,而颜色信息少于自然图像。在屏幕内容图像编码、压缩和传输的过程中,由于技术或硬件限制等原因,不可避免地会引入各种程度的失真,从而导致图像质量下降,进而影响用户体验和系统交互性能。考虑到人们对清晰、高质量图像的需求,需要一种能够有效评估屏幕内容图像感知质量的图像质量评估方法,这不仅可以作为一些图像恢复增强技术的辅助参考信息,同时也为设计和优化高级图像/视频处理算法提供了一种可行的途径。
传统的图像质量评价方法根据评估主体的不同可分为为主观评价和客观评价两大类。主观评价是指由作为图像信息的最终接受方——人对图像质量进行评分,但主观评价方法容易受到受试者自身主体意识的影响,并且在当前数据量爆炸式增长的时代,对数以万计的图像数据进行主观评价是不现实的,因此其难以满足实时应用的需求。而客观图像质量评价方法则是通过提取并分析失真图像的相关特征,再构建相应的数学模型进行计算得到失真图像的质量评估分数。相较于主观评价方法,该过程不需要通过大量受试者对图像进行评分,而是利用计算机取代人类视觉系统以实现自动、高效的质量评估,因而更能满足大数据背景下的应用需求。根据图像感知质量评估过程中对参考图像信息需求的不同程度,客观质量评价方法可以分为全参考、半参考和无参考三类方法,这三类方法对参考图像信息的依赖程度依次降低。然而,在实际应用中往往很难获取没有失真的参考图像,因此无参考图像质量评价方法更加实用且具有更广阔的发展前景。
发明人:陈羽中 陈友昆 牛玉贞当前专利未经权利人许可不得实施,希望将科技成果转让给研发实力雄厚的企业,由受让人对科技成果实施转化。交易的是科技成果中的知识产权,可以包括专利权、专利申请权、技术秘密等。科技成果转让后,转让方获得转让费,不再是科技成果的所有人;受让方向转让方支付转让费,并成为科技成果的新的所有人。
相较于现有技术,本发明具有以下有益效果:本发明的目标在于解决基于卷积神经网络的图像质量评估模型对失真屏幕内容图像进行分块训练所造成的质量分数偏差问题以及屏幕内容图像中不同类型区域的特征提取和融合问题。为了解决这些问题,本发明提出了一种基于多区域特征融合的无参考屏幕内容图像质量评估方法,该方法通过融合失真图像多个区域的局部特征来表征图像的整体质量,并针对不同类型的区域使用不同大小的卷积核进行自适应特征提取。此外,该方法还使用了注意力机制来对不同类型的图像特征进行自适应融合,并增强各个局部图像块之间的信息交互,从而有效提高了无参考屏幕内容图像质量评估模型的准确性。
当前专利未经权利人许可不得实施,希望将科技成果转让给研发实力雄厚的企业,由受让人对科技成果实施转化。交易的是科技成果中的知识产权,可以包括专利权、专利申请权、技术秘密等。科技成果转让后,转让方获得转让费,不再是科技成果的所有人;受让方向转让方支付转让费,并成为科技成果的新的所有人。