您所在的位置: 成果库 一种基于频域分频的多分支低照度图像增强方法

一种基于频域分频的多分支低照度图像增强方法

成果类型:: 发明专利

发布时间: 2023-12-27 14:44:51

科技成果产业化落地方案
方案提交机构:成果发布人| 黄哲芬 | 2023-12-27 14:44:51

本发明涉及一种基于频域分频的多分支低照度图像增强方法。包括:对输入图像进行预处理,包括数据配对、数据随机裁切、数据增强处理,得到训练数据集;设计基于频域分频的多分支低照度图像增强网络,该网络由基准分支、高频分支和低频分支三个分支组成,每个分支均包含浅层图像增强模块和基于多尺度特征协同注意力模块的UNet结构;设计用于指导步骤B所设计网络参数优化的损失函数;使用步骤A得到的训练数据集训练步骤B中的基于频域分频的多分支低照度图像增强网络,得到训练好的基于频域分频的多分支低照度图像增强模型;将待测低照度图像输入训练好的基于频域分频的多分支低照度图像增强模型中,预测生成正常照度图像。本发明能增强低照度图像,解决低照度图像细节丢失、噪声多、亮度不足等问题。

提供一种基于频域分频的多分支低照度图像增强方法,有针对性地增强图像的高频信息、低频信息和高低频整体信息,每个分支首先设计浅层图像增强模块初步增强低照度图像,提高其在后续处理步骤中的可视性,然后设计基于多尺度特征协同注意力模块的UNet结构对图像进行进一步的增强,最后对三分支的处理结果进行融合,得到最终的增强结果,该方法对图像的高频信息和低频信息有针对性地进行增强,有利于显著提高低照度图像增强的性能。

低照度图像增强是计算机视觉的一个重要研究方向,目的是提高图像的亮度、对比度,去除噪声,校正颜色等,使得图像更加清晰明亮,方便人眼观察和机器识别。低照度图像增强技术在许多领域都发挥着重要作用:可以提高夜间拍摄的画面质量;提高医学影像的质量,从而提升医生的诊疗水平;提高无人驾驶车辆对于夜间路况的识别能力,有助于提高行驶安全;提高监控摄像头的画面质量,从而提高监控效果。因此,提升低照度图像增强技术的水平十分重要。

早期的直方图均衡化方法通过将图像的灰度值分布调整为均匀分布来提高图像的对比度和亮度,基于模型的方法通过建立图像的物理模型或者统计模型来进行图像增强,基于多图像融合的方法使用多张不同曝光时间或者角度的图像来融合得到增强后的图像,这些传统方法通常通过增加亮度、增强对比度等手段来增强低照度图像,但这样容易造成图像细节丢失,而且传统方法难以应对一些复杂场景。因此,近年来,越来越多基于深度学习的方法被提出。基于全局/局部自注意力机制学习图像中的局部和全局信息,分开增强,基于残差学习的方法学习输入输出之间的映射关系,基于生成对抗网络通过生成器和判别器进行训练,生成逼真的图像。然而,低照度图像中细节、噪声等信息不是毫不相关的,对细节的增强也可以同时放大噪声,而对噪声的去除又可能造成细节丢失,而且对细节、纹理、噪声信息和亮度、颜色、场景的处理往往需要分别展开。

已有方法无法区分细节和噪声,对细节和噪声采用相同的方式处理,容易造成细节丢失和噪声放大,且一些方法对亮度、颜色、场景等全局信息,细节、纹理、噪声等局部信息共同处理,缺乏针对性。

发明人:牛玉贞 林晓锋 李悦洲收藏1874250福州大学(Fuzhou University),简称福大,位于福建省福州市,创建于1958年,是国家“双一流”建设高校,国家“211工程”建设高校,国家教育部、国家国防科技工业局与福建省人民政府共建高校,福建省三所重点建设的高水平大学之一,福建省一流大学建设高校,入选国家建设高水平大学公派研究生项目、教育部首批“卓越工程师教育培养计划”高校、新工科研究与实践项目、数据中国“百校工程”项目、国家“111计划”、“高校国际化示范学院推进计划”、国家级大学生创新创业训练计划、全国首批深化创新创业教育改革示范高校、中国政府奖学金来华留学生接收院校、全国专业学位研究生教育综合改革试点单位、国家集成电路人才培养基地、首批高等学校科技成果转化和技术转移基地、高校国家知识产权信息服务中心。

与现有技术相比,本发明具有以下有益效果:本发明将图像的高频信息、低频信息分开处理,能更好地分离细节纹理等高频信息和颜色亮度等低频信息,有针对性地处理,并且可以通过滤波器的设置很好地区分噪声和细节信息,防止噪声放大和细节丢失。设计了一种基于频域分频的多分支低照度图像增强网络,在三个分支上首先设计浅层图像增强模块初步增强低照度图像,有利于增强后续处理的可视性,然后通过基于多尺度特征协同注意力模块的UNet结构进一步增强特征,通过损失函数约束图像对高频、低频信息的学习,不同与其他方法笼统地学习颜色、场景等全局信息和细节、噪声等局部信息,本方法能较好地分离全局和局部信息,且区分细节和噪声,从而有针对性地进行增强。

当前专利未经权利人许可不得实施,希望将科技成果转让给研发实力雄厚的企业,由受让人对科技成果实施转化。交易的是科技成果中的知识产权,可以包括专利权、专利申请权、技术秘密等。科技成果转让后,转让方获得转让费,不再是科技成果的所有人;受让方向转让方支付转让费,并成为科技成果的新的所有人。