一种基于构图感知的图像美学质量评价方法
成果类型:: 发明专利
发布时间: 2023-12-28 10:28:21
本发明提出一种基于构图感知的图像美学质量评价方法,包括以下步骤;步骤S1:将图像美学质量评价数据集和图像构图质量评价数据集处理后的数据形成美学质量评价训练集与美学质量评价测试集、构图质量评价训练集与构图质量评价测试集;步骤S2:设计金字塔式多尺度特征融合模块;步骤S3:设计图像构图质量评价网络,训练得到图像构图质量评价模型;步骤S4:设计图像美学质量评价网络,训练得到图像美学质量评价模型;步骤S5:将美学质量评价测试集中的图像输入到图像美学质量评价模型中,输出对应的评分分布,计算平均值作为图像美学质量分数;本发明能有效地借助图像中的构图信息来辅助实现图像美学评价,进一步提高图像美学质量评价算法的性能。
本发明采用以下技术方案。
一种基于构图感知的图像美学质量评价方法,所述方法使用通过人主观评价形成的图像美学质量评价数据集和图像构图质量评价数据集,基于图像的构图属性来引导图像美学质量,包括以下步骤;
步骤S1:将图像美学质量评价数据集和图像构图质量评价数据集中的数据进行数据预处理,以处理后的数据形成美学质量评价训练集与美学质量评价测试集、构图质量评价训练集与构图质量评价测试集;
步骤S2:设计金字塔式多尺度特征融合模块;
步骤S3:设计图像构图质量评价网络,使用所设计的网络训练得到图像构图质量评价模型;
步骤S4:设计基于构图感知的图像美学质量评价网络,使用所设计的网络训练得到基于构图感知的图像美学质量评价模型;
步骤S5:将美学质量评价测试集中的图像输入到训练好的基于构图感知的图像美学质量评价模型中,输出对应的图像美学评分分布,最后计算美学评分分布的平均值作为图像美学质量分数。
随着移动设备和互联网的普及,图像的数量日益剧增。随着图像数量增加,人们对图像的美感需求也随之提高,图像美学质量的优劣成为了人们关注的重点。图像美学质量的优劣衡量了一幅图像在人类眼中视觉吸引力的强弱,人们通常都希望自己获得的图像是具有较高的美学质量。图像美学质量评价技术是指计算机通过计算图像的质量和模仿人们对图像的感知和认知的过程来自动评价图像的美感。图像美学质量评价技术在日常生活中的应用广泛,比如对于手机拍摄的多张相似的照片,该技术可以帮助人们筛选出最“美”的那张照片来克服选择恐惧;对于多张不同的视频封面,该技术可以帮助视频选择最“美”的封面来提高其点击率。图像美学质量评价技术不仅可以筛选出美学质量较高的图片,而且计算机可以根据自己的理解自动对图像进行美化。
图像美学质量评价方法一般分为基于手工提取特征方法和基于深度学习方法。基于手工提取特征的方法首先根据美学专业知识需要手工设计和美学质量相关的多种图像特征,然后在图像美学质量评价数据集上提取这些手工设计的特征,然后利用这些特征结合有效的机器学习算法训练分类器或者回归器,从而对图像进行美学质量分类或回归。但是手工设计的特征往往会受到摄影因素或者心理学的启发,而且手工设计的特征范围有限,无法全面的代表美学特征,从而不能全面地对图像进行美学评价。
目前先进的图像美学质量评价方法都是基于深度学习的方法,深度学习具有强大的自动特征学习能力,不需要人们有丰富的图像美学知识和心理学知识,且在效率和准确性方面远高于基于手工提取特征的方法。因此,越来越多的研究人员利用深度卷积神经网络成功解决了图像美学质量评价问题,且取得了良好的性能。但目前绝大多数基于深度学习的图像美学质量评价方法只局限于学习图像美学特征。我们发现图像的构图会直接影响人们对图像美学质量的评价,通常当一张图像的构图质量比较高,那么这张图像的美学质量也会比较高,两者成正比关系。所以,我们认为图像的构图信息是进行图像美学评价时的重要影响因素,充分利用图像的构图信息能够很好地辅助进行美学评价。我们提出一种基于构图属性引导的图像美学质量评价方法,能够很好地将图像构图特征与图像美学特征进行融合,进一步地提升图像美学质量评价方法的性能。
发明人:牛玉贞 陈珊珊 赖宇 张家榜
福州大学(Fuzhou University),简称福大,位于福建省福州市,创建于1958年,是国家“双一流”建设高校,国家“211工程”建设高校,国家教育部、国家国防科技工业局与福建省人民政府共建高校,福建省三所重点建设的高水平大学之一,福建省一流大学建设高校,入选国家建设高水平大学公派研究生项目、教育部首批“卓越工程师教育培养计划”高校、新工科研究与实践项目、数据中国“百校工程”项目、国家“111计划”、“高校国际化示范学院推进计划”、国家级大学生创新创业训练计划、全国首批深化创新创业教育改革示范高校、中国政府奖学金来华留学生接收院校、全国专业学位研究生教育综合改革试点单位、国家集成电路人才培养基地、首批高等学校科技成果转化和技术转移基地、高校国家知识产权信息服务中心。
所述图像美学质量评价数据集和图像构图质量评价数据集中,图像的构图质量评价值与图像的美学评价值成正比。
本发明能有效地借助图像中的构图信息来辅助实现图像美学评价,进一步提高图像美学质量评价算法的性能。
当前专利未经权利人许可不得实施,希望将科技成果转让给研发实力雄厚的企业,由受让人对科技成果实施转化。交易的是科技成果中的知识产权,可以包括专利权、专利申请权、技术秘密等。科技成果转让后,转让方获得转让费,不再是科技成果的所有人;受让方向转让方支付转让费,并成为科技成果的新的所有人。