一、本文介绍
本文记录的是利用分层特征融合模块HFFE改进YOLOv8的可见光-红外双模态目标检测。
HFFE（Hierarchical Feature Fusion Encoder）通过可见光-红外特征分辨率对齐、空间注意力模态筛选与坐标注意力位置编码结合，自适应完成深浅层双模态特征加权交互，打通可见光纹理与红外热辐射信息融合通路。本文利用HFFE模块，先通过双线性插值统一不同层级可见光、红外特征空间尺度，再借助空间注意力分别滤除两类模态无关背景，生成跨模态空间权重矩阵动态分配模态特征贡献，依托坐标注意力留存多模态小目标空间位置信息，针对性增强红外弱小目标热特征与可见光轮廓纹理，同步抑制可见光杂波、红外热云无效背景干扰，在编码器分层融合阶段实现双模态细节与全局热语义高效互补，解决传统单尺度拼接带来的模态语义错位问题，大幅提升复杂暗光、海面云层场景下多模态红外小目标检测精度。
专栏目录：《多模态模型改进》目录一览 | 专栏介绍 ，多模态的全方位改进，提供多模态模型改进完整项目包-开箱即用
专栏地址：YOLO系列模型的多模态融合改进——极易上手、非常好发文的多模态改进教程！
文章目录
- 一、本文介绍
- 二、HFFE介绍
- 2.1 设计出发点
- 2.2 模块结构
- 2.3 模块优势
- 三、HFFE实现代码
- 四、添加步骤
- 4.1 修改一
- 4.2 修改二
- 4.3 修改三
- 五、yaml模型文件
- 5.1 中期融合⭐
- 5.2 中-后期融合⭐
- 5.3 后期融合⭐
- 六、成功运行结果
二、HFFE介绍
2.1 设计出发点
可见光模态富含纹理、边缘细节，但低照度、云雾场景目标对比度极低；红外模态突出热辐射弱小目标，但缺失场景纹理与空间轮廓。传统同尺度跳跃连接仅简单拼接两类模态单层特征，存在三大缺陷：
- 高低层级、双模态特征语义鸿沟大，直接融合会引入可见光杂波与红外背景噪声；
- 无法自适应区分可见光纹理特征、红外热目标特征的贡献度，弱小目标易被可见光细节淹没；
- 缺少跨层级、跨模态双向交互，不能同步聚合浅层多模态细节与深层全局热语义。
因此设计HFFE，依托空间+坐标双注意力实现可见光-红外多模态分层自适应融合，对齐不同尺度双模态特征、区分模态专属有效信息，抑制两类模态冗余背景干扰。
2.2 模块结构
HFFE（Hierarchical Feature Fusion Encoder）分层特征融合编码器：
- 多模态分辨率对齐：输入可见光浅层细节特征、红外深层语义特征，对高层红外特征双线性上采样匹配浅层可见光尺寸，消除模态尺度差；
- 双注意力精炼：分别对可见光、红外特征执行空间注意力SAM过滤背景，再生成跨模态空间权重矩阵SWM双向加权；
- 坐标注意力跨模态关联：编码可见光轮廓、红外热目标横竖空间位置，保留多模态小目标定位信息；
- 分层融合输出
