一种图片风格迁移方法
成果类型:: 实用新型专利
发布时间: 2022-06-30 14:54:13
本发明公开了一种图片风格迁移方法,包括,基于神经网络构建图像风格迁移模型,并对所述图像风格迁移模型进行参数更新和谱归一化处理;构建所述图像风格迁移模型的损失函数,并训练所述图像风格迁移模型,损失值不再降低时停止训练;通过所述训练完成的图像迁移风格模型获得风格迁移图片。本发明通过优化生成器和对鉴别器,有效地减少了模型振荡和加快了模型的收敛。
本发明提供了一种图片风格迁移方法,能够解决模型收敛速度慢的问题。
为解决上述技术问题,本发明提供如下技术方案:包括,基于神经网络构建图像风格迁移模型,并对所述图像风格迁移模型进行谱归一化处理;构建所述图像风格迁移模型的损失函数,并训练所述处理完成的图像风格迁移模型,损失值不再降低时停止训练;通过所述训练完成的图像迁移风格模型获得风格迁移图片。
作为本发明所述的图片风格迁移方法的一种优选方案,其中:所述图像风格迁移模型包括生成器和鉴别器,所述生成器G(x)和F(x):
G(x)=pdata(x);
F(x)=pdata(x);
所述鉴别器D(x):
其中,x为样本,pg(x)为样本分布,pdata(x)为真实的样本分布。
对于图像风格迁移,主要依赖生成对抗网络,但是由于生成对抗网络模型本身难以收敛,风格迁移训练效果较差,数据需要大量的打标签,这也是在图像风格迁移中需要解决的问题;主流解决方案包括谱归一化、批归一化、Wasserstein距离;以往的风格迁移都是专注使用VGG提取图像特征和风格特征,产生的风格迁移效果在细节表现上较差,大多都是在实现场景上的风格迁移,还不能很好实现人脸图片向漫画的风格迁移,为解决这一个问题,大量的方案被开发,主要采用以生成对抗网络为原型,通过增加鉴别器、生成器和约束性函数的方式达到对图像风格迁移,许多实验表明,这种基于生成对抗网络(GAN)的方法在计算机视觉研究中非常出色,然而,当图像特征复杂,要求生成高分辨率的图片时,上述方法将会出现需要极大的硬件资源,并且生成的图片出现特征混论,视觉体验感较差,如何增强风格迁移的效果是一项极大的挑战。
目前已经有很多优秀的学者提出了可用于风格迁移的模型,但是模型难以收敛,迁移不稳定。
江南大学是教育部直属、国家“211工程”重点建设高校和“双一流”建设高校。学校具有悠久的办学历史、厚重的文化积淀,源起1902年创建的三江师范学堂,历经国立中央大学、南京大学等发展时期;1958年南京工学院食品工业系整建制东迁无锡独立建校,成立无锡轻工业学院;1962年无锡纺织工学院并入无锡轻工业学院;1995年更名为无锡轻工大学;2001年无锡轻工大学、江南学院、无锡教育学院合并组建江南大学;2003年东华大学无锡校区并入江南大学。
作为本发明所述的图片风格迁移方法的一种优选方案,其中:所述向前映射损失函数包括:对于所述X域的图片经过所述生成器到所述Y域生成所述风格迁移后的图片和Y域的鉴别器,定义所述向前映射损失函数:
其中,E为期望,y为在所述Y域中抽取的图片,DY(y)为所述图片y经过所述Y域的鉴别器,Pdata指的是图片数据分布y,Pdata(y)为所述图片y的数据分布。
作为本发明所述的图片风格迁移方法的一种优选方案,其中:所述循环损失函数包括:
作为本发明所述的图片风格迁移方法的一种优选方案,其中:所述向后映射损失函数包括:对于所述Y域的图片经过所述生成器到所述X域生成所述风格迁移后的图片和X域的鉴别器,定义所述向后映射损失函数:
其中,DX为所述X域的鉴别器。
本发明的有益效果:通过优化生成器和对鉴别器,有效地减少了模型振荡和加速了模型的收敛。
科技成果只有通过实施开发应用,使其转化为生产力,才能取得经济效益和社会效益。成果方目标是将科技成果转化为现实生产力,期待有意愿的企业或合作单位进行合作推广或者进行产品生产。考虑合作转化、许可+合作等转化方式与企业、科学技术研究开发机构和其他组织建立合作关系。