基于自注意力机制的红外和可见光图像融合方法,属于图像融合领域。主要解决图像融合时忽略人眼主观感受的重要性问题。其实现步骤是:1)搭建基于自注意力机制的深度自编码网络结构,以端到端的方式对特征提取,融合规则和重构规则同时学习;2)将编码层不同分支的特征图输入自注意力机制获得注意力图,并采用均值融合策略获得输出特征图;3)设计内容损失和细节损失两类损失函数,分别用于突出红外目标信息,锐化边缘和更好地利用源图像中的纹理细节;4)训练神经网络,并对自注意力机制进行可视化以调整网络结构和损失函数。本发明能通过学习注意力图以最佳方式分配注意力,获取图像关键信息,改善视觉效果,提高融合图像的质量。

本发明的深度自编码网络包括编码层、融合层和解码层。编码层包含两个分支，每个分支包括3个卷积核大小3*3的可训练卷积层，每个卷积层后接Relu层。融合层将编码层输出的特征图分别输入三个卷积核大小为1*1的可训练卷积层，通过矩阵运算与Softmax操作获得输入图像的注意力图，并结合编码层的输出利用均值加权策略融合两个分支。解码层与编码层形成镜面对称，包含四个卷积核大小为3*3的可训练卷积层，最后一个卷积层用于输出与源图像大小相同的融合图像。

红外和可见光图像的融合在视频监控、物体检测和目标识别等领域有重要意义。红外传感器能够捕获场景的热信息，对于外界环境具备较强的抗干扰能力和目标识别能力。但在成像效果，信噪比等方面表现一般，易缺失背景细节，分辨率较低。可见光传感器可获取图像的几何和纹理细节以及色彩信息，利用光的反射率成像，因此具备光谱信息丰富，分辨率高，动态范围广等特点。但在恶劣天气情况下，由于其穿透能力变弱，易丢失重要目标。红外和可见光图像融合的目标是整合红外传感器和可见光传感器获取图像的优势合成理想的融合图像，可以同时获得的突出的目标与清晰的背景。

注意力机制作为神经网络结构的重要组成部分，通过模仿生物观察行为的内部过程，将内部经验和外部感觉对齐从而增加部分区域的观察精细度，在自然语言处理、统计学习和计算机视觉等领域有着广泛的应用。自注意力机制即内注意力，是对注意力机制的改进，通过关注同一序列中所有位置来计算序列中每个位置的响应程度，这有利于降低对训练数据的依赖性和获取特征内部相关性。自注意力机制不仅能够捕捉全局的信息来获得更大的感受野和上下文信息，而且将所有位置的特征加权和作为单个位置的注意力度，在建立长距离依赖模型和提高计算效率间实现平衡。本发明提出了基于自注意力机制的红外和可见光图像融合方法，基于深度自编码网络设计融合策略，无需标签数据，结合自注意力机制设计均值融合策略，设计了内容损失和细节损失两类损失函数，分别用于强化红外显著目标，锐化边缘和更好地利用源图像中的纹理细节，并根据注意力图进行损失函数的调整，获得了较优的融合结果，提高了融合图像的质量。

江南大学是教育部直属、国家“211工程”重点建设高校和“双一流”建设高校。学校具有悠久的办学历史、厚重的文化积淀，源起1902年创建的三江师范学堂，历经国立中央大学、南京大学等发展时期；1958年南京工学院食品工业系整建制东迁无锡独立建校，成立无锡轻工业学院；1962年无锡纺织工学院并入无锡轻工业学院；1995年更名为无锡轻工大学；2001年无锡轻工大学、江南学院、无锡教育学院合并组建江南大学；2003年东华大学无锡校区并入江南大学。

1、本发明采用双通道对称深度自编码网络，以端到端的方式对特征提取，融合规则和重构规则同时学习，避免丢失细节，从而增加图像的信息量和清晰度。

2、本发明采用结合自注意力机制的均值融合策略，相比较基于深度学习的方法利用卷积神经网络提取局部特征，自注意力单元能够获取图像全局的长距离依赖，捕获关键信息，忽略无效信息，获得质量更好的融合图像。

3、本发明设计了两类损失函数，即内容损失和细节损失以改善融合性能。内容损失旨在突出红外目标信息和锐化边缘，细节损失目的是更好地利用源图像中的纹理信息。

科技成果只有通过实施开发应用，使其转化为生产力，才能取得经济效益和社会效益。成果方目标是将科技成果转化为现实生产力，期待有意愿的企业或合作单位进行合作推广或者进行产品生产。考虑合作转化、许可+合作等转化方式与企业、科学技术研究开发机构和其他组织建立合作关系。