基于反向去雨过程引导的图像雨滴去除方法
成果类型:: 发明专利
发布时间: 2023-12-25 15:36:40
本发明涉及一种基于反向去雨过程引导的图像雨滴去除方法。包括以下步骤:步骤S1、进行数据预处理,包括数据配对、数据随机裁切、数据增强处理,得到训练数据集;步骤S2、设计多重注意力模块,采用像素注意力、通道注意力和空间注意力提取图像特征;步骤S3、设计基于多重注意力模块的U形编码器解码器网络,用于提取图像不同尺度下的特征;步骤S4、设计图像特征融合模块,该模块融合图像特征和原始图像,得到融合后的恢复图像;步骤S5、设计正向雨滴去除网络和反向雨滴去除网络,利用反向雨滴去除网络引导训练正向雨滴去除网络;步骤S6、将附着雨滴图像输入训练好的正向雨滴去除网络,输出去除雨滴的干净图像。
提供一种基于反向去雨过程引导的图像雨滴去除方法,该方法能实现去除附着雨滴图像上的雨滴。
为实现上述目的,本发明的技术方案是:一种基于反向去雨过程引导的图像雨滴去除方法,包括如下步骤:
步骤S1、进行数据预处理,包括数据配对、数据随机裁切、数据增强处理,得到训练数据集;
步骤S2、设计多重注意力模块,采用像素注意力、通道注意力和空间注意力提取图像特征;
步骤S3、设计基于多重注意力模块的U形编码器解码器网络,用于提取图像不同尺度下的特征;
步骤S4、设计图像特征融合模块,该模块融合图像特征和原始图像,得到融合后的恢复图像;
步骤S5、设计正向雨滴去除网络和反向雨滴去除网络,利用反向雨滴去除网络引导训练正向雨滴去除网络;
步骤S6、将附着雨滴图像输入训练好的基于反向去雨过程引导的正向雨滴去除网络,输出去除雨滴的干净图像。
随着无人驾驶、智慧城市、智能交通等领域的不断发展,如何使用各种图像采集设备,进行有效的户外图像的采集,并提高获取到的户外图像的质量,是这些领域都需要解决的问题。高质量的户外图像,可以方便后续使用图像识别系统等进行自动导航、车辆跟踪、行人检测等工作。但是,进行户外图像的采集时,特别容易受到天气变化的影响。雨是一种常见的天气现象,当雨滴附着在玻璃窗或相机镜头上时会妨碍背景场景的可见性,降低图像的质量,导致图像严重的退化,如对比度降低,饱和度降低,图像背景变得模糊不清。这使得图像上的细节信息丢失,从而导致图像的使用价值大大降低。因此,从图像中去除雨滴以恢复干净背景对于提高户外的计算机视觉系统的稳定性和适用性具有重要的研究意义。
目前图像雨滴去除方法大体上被分为两大类,即基于传统机器学习的方法和基于深度学习的方法。基于传统机器学习的方法通常是先使用一个滤波器,将其分解为高频和低频两个部分,然后通过字典学习区分高频部分中的雨成分和非雨成分。基于传统机器学习的方法大多依赖于人工预先设好的参数来进行图像的特征提取和性能优化,只能提取图像中的浅层信息,并缺乏对内容的深层推理,使得它们对输入的变化不具有鲁棒性,例如具有不同模糊程度、亮度和大小不一的雨滴。而基于深度学习的方法,是一种数据驱动的方法,通过利用大量的数据来训练一个神经网络。神经网络表现出来的强大特征学习表示能力,能够较好地提取到图像特征,能够取得较好的雨滴去除效果。
本发明基于深度学习方法,提出了一种基于反向去雨过程引导的图像雨滴去除方法。该方法使用多重注意力机制和U型编码器解码器结构搭建正向去雨网络,以此提取图像的雨滴特征,并设计了一个反向去雨网络接收正向去雨网络的特征,用于重构雨图,通过施以监督损失,促进提升正向去雨网络的特征表示学习能力,从而获得更好的去雨效果。
发明人:陈羽中 林闽沪 牛玉贞福州大学(Fuzhou University),简称福大,位于福建省福州市,创建于1958年,是国家“双一流”建设高校,国家“211工程”建设高校,国家教育部、国家国防科技工业局与福建省人民政府共建高校,福建省三所重点建设的高水平大学之一,福建省一流大学建设高校,入选国家建设高水平大学公派研究生项目、教育部首批“卓越工程师教育培养计划”高校、新工科研究与实践项目、数据中国“百校工程”项目、国家“111计划”、“高校国际化示范学院推进计划”、国家级大学生创新创业训练计划、全国首批深化创新创业教育改革示范高校、中国政府奖学金来华留学生接收院校、全国专业学位研究生教育综合改革试点单位、国家集成电路人才培养基地、首批高等学校科技成果转化和技术转移基地、高校国家知识产权信息服务中心。
相较于现有技术,本发明具有以下有益效果:本发明提出了一种基于方向去雨过程引导的图像雨滴去除方法。本发明设计了多重注意力机制和U型编码器解码器结构,以此搭建正向去雨网络,用于提取图像的雨滴特征,并设计了一个反向去雨网络接收正向去雨网络的特征,用于重构雨图,通过施以监督损失,促进提升正向去雨网络的特征表示学习能力,从而获得更好的去雨效果。
当前专利未经权利人许可不得实施,希望将科技成果转让给研发实力雄厚的企业,由受让人对科技成果实施转化。交易的是科技成果中的知识产权,可以包括专利权、专利申请权、技术秘密等。科技成果转让后,转让方获得转让费,不再是科技成果的所有人;受让方向转让方支付转让费,并成为科技成果的新的所有人。