目录
1、题目
2、文献信息
3、动机
4、主要工作
1）提出新架构：
2）构建新数据集：
3）广泛验证：
5、核心创新点
1）无需配准数据训练：
2）多尺度特征提取：
3）边缘引导注意力：
4）细节补偿重建：
6、网络结构
1）总体架构
2）从粗到细的特征提取模块
a、多尺度特征提取：
b、密集特征增强：
c、特征聚合：
3）边缘引导的注意力特征融合
a、边缘图提取和增强
b、生成注意力权重图
c、加权特征融合
4）特征补偿重建
a、目的：
b、构建补偿特征：
c、跨模态特征选择：
d、跳跃连接和通道拼接：
e、最终解码重建：
7、损失函数
1）总损失函数
2）对抗损失
3）关于未配准图像
1、题目
“Learning a Deep Multi-Scale Feature Ensemble and an Edge-Attention Guidance for Image Fusion”
《学习一种深度多尺度特征集成和边缘注意力引导的图像融合方法》
2、文献信息
作者：JinyuanLiu ,Xin Fan , Senior Member, IEEE, Ji Jiang,RishengLiu , Member, IEEE, andZhongxuanLuo
出处：IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY , 32 ( 1 ) : 105-119
IF:11.1 JCR分区：Q1新锐分区：计算机科学1区
链接：Learning a Deep Multi-Scale Feature Ensemble and an Edge-Attention Guidance for Image Fusion | IEEE Journals & Magazine | IEEE Xplore
3、动机
现有方法在保留突出的结构和恢复重要的纹理细节方面存在困难
4、主要工作
1）提出新架构：
级联特征学习与融合学习机制，自动学习特征提取和融合规则。
2）构建新数据集：
发布了包含多种复杂场景（如弱光、雾霾）的对齐数据集RealStreet。
3）广泛验证：
在多个数据集上验证，结果显示该方法好于其他当前最先进的方法。
5、核心创新点
1）无需配准数据训练：
特征学习模块不依赖对齐的多模态图像对，打破了数据获取的限制。
2）多尺度特征提取：
利用空洞卷积构建密集上下文模块，扩大感受野，在不改变图像尺寸下提取粗到精的多尺度特征。
3）边缘引导注意力：
设计了边缘引导机制指导融合，既保留了显著结构和纹理，又有效抑制了噪声。
4）细节补偿重建：
引入跳跃连接，补偿卷积过程中的细节损失，生成视觉更真实的图像。
6、网络结构
1）总体架构
训练阶段：以端到端的方式对网络进行训练，学习了边缘引导注意力机制和从粗到细的特征提取器
测试阶段：训练后的模型通过生成边缘注意力图，引导提取的中间特征与经由编码器跳跃连接生成的补偿特征进行融合。
2）从粗到细的特征提取模块
核心结构设计
a、多尺度特征提取：
利用扩张卷积构建了三条并行的卷积路径，每条路径具有不同的扩张因子。
b、密集特征增强：
在每一条并行的卷积路径内部，都集成了一个密集块。
c、特征聚合：
将三条路径的中间结果进行聚合，获得融合了多尺度整体信息的最终特征表示，分别记为f_ⅈr^e和f_vⅈs^e
*：卷积算子，tp：展开卷积路径的序号，W和b分别代表卷积层的滤波器参数和基础值
3）边缘引导的注意力特征融合
a、边缘图提取和增强
边缘图提取：
增强边缘：
b、生成注意力权重图
ir和vis各自的增强边缘图送入注意力机制模块分别生成对应的特征权重图Wir和Wvis
c、加权特征融合
中间特征与注意力模块生成的权重图进行元素级相乘得到融合特征
rate 2：表示的是具有两次膨胀率的膨胀卷积运算符
4）特征补偿重建
a、目的：
防止在深度卷积和特征空间转换过程中丢失关键的图像细节信息
b、构建补偿特征：
从特征提取模块中取三个具有不同感受野卷积路径的中间特征并将其相加，以此为补偿特征的基础
c、跨模态特征选择：
文献提到，在处理红外和可见光双模态输入时，会采用选择最大值的策略，从这两种模态的中间特征中挑选出最显著的特征作为最终的补偿特征
d、跳跃连接和通道拼接：
这些补偿特征绕过了中间的融合瓶颈，直接传递给特征重建模块，Block1传递过来的补偿与CONV5的输出在通道维度上进行了拼接，Block2传递过来的补偿与CONV6的输出进行了拼接。
e、最终解码重建：
通过上述的通道拼接操作，重建网络在解码时不仅拥有了经过注意力机制处理过的深层融合特征，还获得了来自编码器阶段原汁原味的多尺度细节特征。最后，这些组合特征通过后续的卷积层（CONV 7, CONV 8）被处理并还原为单通道的最终融合结果图像
7、损失函数
1）总损失函数
LMSE（均方误差）：计算输入图像与输出图像之间的欧几里得距离，用于约束像素强度的误差
LSSIM（结构相似性损失）：用于衡量两幅图像在结构上的相似度，结合了亮度、结构和对比度三个分量 ，保网络在重建时能更好地保留图像的骨架和纹理特征
2）对抗损失
受到生成对抗网络（GAN）的启发，作者将前面的特征提取模块与特征补偿重建模块视为生成器，在重建网络的末端引入了一个判别器，以引导生成器生成更自然的图像
3）关于未配准图像
作者在TNO数据集上人为合成了未配准的源图像对，对图像进行了[-2, 2]、[-5, 5]和[-10, 10]像素的随机平移处理，并用提出的方法对这些存在偏差的图像进行融合测试
实验结果表明该方法对未配准图像有一定容错性，可以处理轻微的未配准图像；当像素偏差过大，融合结果会出现光晕和伪影
