一、本文介绍
🔥本文给大家介绍使用STFFM（时空特征融合模块） 改进RT-DETR网络模型，可在特征提取阶段实现空间外观信息与时间序列信息的早期融合，使模型由单纯的空间建模扩展为时空联合建模。STFFM 通过注意力机制引导网络在关键空间位置和有效特征通道上自适应地融合空间与时间特征，并利用残差结构将融合信息反馈至各特征分支，在增强目标表达能力的同时保持原有网络结构的稳定性。该改进能够有效提升 RT-DETR 在复杂背景、动态场景以及小目标检测任务中的鲁棒性和判别能力，在计算开销可控的前提下显著降低虚警和漏检，增强模型在视频流和多帧场景下的实用性。
🔥欢迎订阅我的专栏、带你学习使用最新-最前沿-独家RT-DETR创新改进！🔥
含3种 rtdetr 基准创新改进点助力高效涨点！
🔥RT-DETR创新改进目录：全新RT-DETR 有效涨点改进目录 | 包含各种卷积、主干改进、各种注意力机制、Neck特征融合改进、损失函数、AIFI创新改进、独家创新、小目标检测、特殊场景检测等最全大论文及小论文必备创新改进点
🔥全新RT-DETR创新改进专栏地址：最全RT-DETR创新改进高效涨点+永久更新中（至少500+改进）+高效跑实验发论文
本文目录
一、本文介绍
二、STFFM 模块介绍
GST-Net网络结构图：
2.1 STFFM 模块结构图
2.2 STFFM 模块的作用：
2.3 STFFM 模块的原理
2.3 STFFM 模块的优势
三、完整核心代码
四、手把手教你配置模块和修改task.py文件
1.首先在ultralytics/nn/newsAddmodules创建一个.py文件
2.在ultralytics/nn/newsAddmodules/__init__.py中引用
3.修改task.py文件
五、创建涨点yaml配置文件
🚀 创新改进1: rtdetr-l-STFFM_Fusion.yaml
🚀 创新改进2: rtdetr-r18-STFFM_Fusion.yaml
🚀 创新改进3: rtdetr-r50-STFFM_Fusion.yaml
六、正常运行
二、STFFM 模块介绍
摘要：在复杂地面场景下，红外小目标检测仍然面临诸多挑战。当目标被背景淹没时，多帧方法可以通过利用时间维度上的运动信息来缓解这一问题。然而，现有的多帧方法在时间运动信息提取以及时空信息融合方面仍存在不足，从而限制了其检测性能。本文提出了一种全局时空红外小目标检测框架。该检测框架由两部分组成：一是相对运动模式提取模块（RMPE），用于计算小目标的相对运动图（RMM）；二是全局时空特征融合网络（GST-Net），该网络以原始图像和 RMM 作为输入进行联合检测。RMPE 模块通过在每个时间步计算稠密光流图并进行归一化处理，并通过累积方式提取小目标的相对运动模式。GST-Net 包含两个关键模块：时空特征融
