LoFTR、DKM 和 RoMa 代表了深度学习特征匹配从“稀疏关键点”向“密集像素级”演进的三个阶段。它们共同抛弃了传统的“先检测特征点再匹配”的流水线，转而采用“直接回归对应关系”的范式，极大地提升了在弱纹理、重复纹理和大视角变化下的鲁棒性。
一、算法核心特性对比
算法 | 核心思想 | 匹配粒度 | 技术亮点 | 典型场景 |
|---|---|---|---|---|
LoFTR | 利用 Transformer 进行全局上下文推理 | 稀疏（但远多于传统方法） | Detector-Free（无特征点检测阶段），Coarse-to-Fine（由粗到细） | 通用 SfM、SLAM、位姿估计 |
DKM | 核回归 + 深度卷积细化 | 稠密（Dense） | 核化匹配（类似高斯过程回归），输出全图稠密对应场 | 3D 重建、深度估计、高精度配准 |
RoMa | 冻结基础模型特征 + 专用解码器 | 稠密（Dense） | 利用DINOv2/v3 的强泛化性，预测不确定性（协方差） | 极端视角/光照变化（WxBS）、鲁棒位姿估计 |
二、LoFTR：基于 Transformer 的无检测器匹配
LoFTR (CVPR 2021) 是这一范式的开创性工作，它解决了传统方法在低纹理区域完全失效的痛点。
1. 核心原理
Detector-Free：不再依赖不稳定的特征点检测器（如 SIFT 的 DoG）。它直接处理整张图像，让模型自己决定哪里该匹配。
Transformer 注意力机制：通过Self-Attention 和Cross-Attention 层，让图像 A 的每个像素都能“看到”图像 B 的所有像素。这意味着即使某个点本身纹理很弱，也能通过周围的上下文信息（如边缘、形状）找到对应点。
2. 工作流程
特征提取：CNN 提取 1/8 分辨率（粗粒度）和 1/2 分辨率（细粒度）的特征图。
粗匹配：对粗特征图应用 Transformer，计算匹配概率矩阵，筛选出高置信度的粗略匹配对。
细匹配：在粗略匹配点周围裁剪局部窗口，利用细粒度特征图进行亚像素级精化。
3. 优势与局限
优势：在弱纹理、重复纹理上表现极佳，匹配数量远超传统方法。
局限：本质仍是“半稠密”匹配（只输出高置信度点对），且 Transformer 的计算量较大。
三、DKM：稠密核化特征匹配
DKM (CVPR 2024) 将匹配任务推向了全稠密级别，旨在为图像中的每一个像素（或大部分像素）找到对应点。
1. 核心原理
核回归全局匹配：将匹配问题建模为高斯过程回归（GPR）。它不像 LoFTR 那样直接输出离散匹配，而是学习一个连续的“变形场（Warp Field）”，描述像素间的平滑映射关系。
深度卷积细化：通过堆叠特征图和深度卷积核，逐步将低分辨率的粗略变形场优化到高分辨率，实现亚像素精度。
2. 工作流程
特征金字塔：提取多尺度特征。
核回归解码：利用核函数计算全局相关性，输出低分辨率的稠密变形场和置信度图。
迭代上采样：通过卷积网络逐步将变形场细化到原图分辨率。
3. 优势与局限
优势：输出是稠密的，非常适合需要密集几何信息的下游任务（如 MVS 稠密重建）。
局限：在极端视角变化（如 90 度旋转）下，基于 CNN 的特征泛化能力有时不足。
四、RoMa：鲁棒密集特征匹配
RoMa (CVPR 2024) 及其升级版 RoMa v2 是目前 SOTA 的代表，核心思路是“站在巨人的肩膀上”，利用视觉基础模型来获得极强的泛化能力。
1. 核心原理
冻结的基础模型：直接使用DINOv2（RoMa）或DINOv3（RoMa v2）的预训练特征作为粗特征。这些特征在互联网级数据上训练，对视角、光照变化极其鲁棒。
特征金字塔融合：DINO 特征虽然鲁棒但分辨率低（粗），因此配合一个轻量级的 CNN 提取高分辨率细特征，两者结合得到既鲁棒又精确的特征金字塔。
不确定性估计：RoMa v2 不仅能输出匹配点，还能输出每个点的协方差矩阵，告诉下游任务（如 BA）这个匹配点有多“不可靠”。
2. 工作流程
特征提取：冻结的 DINO 提取粗特征 + CNN 提取细特征。
Transformer 解码：使用定制的解码器预测锚点概率，进行粗匹配。
精化：利用细特征进行局部精化，达到亚像素精度。
3. 优势与局限
优势：在 WxBS（极端宽基线）等挑战性数据集上表现碾压级优势，泛化能力极强。
局限：依赖基础模型，模型参数量相对较大（但推理时可冻结主干，实际效率尚可）。
五、总结与选型建议
你的需求 | 推荐算法 | 理由 |
|---|---|---|
快速原型 / 通用 SfM | LoFTR | 成熟度高，开源支持好（COLMAP 已集成），在大多数室内外场景表现稳定。 |
稠密重建 / 深度估计 | DKM | 输出稠密对应，能直接服务于 MVS 或深度图生成。 |
极端条件（无人机、跨季节） | RoMa (v2) | 利用 DINO 的强泛化能力，在视角/光照剧烈变化时最不容易“翻车”。 |
高精度位姿 + 可信度 | RoMa v2 | 唯一提供逐像素协方差估计，可与 BA 优化紧密结合，实现加权优化。 |
技术演进趋势：LoFTR 引入了 Transformer 的全局建模，DKM 推进了稠密化，RoMa 则证明了冻结基础模型（Foundation Model）是提升视觉特征匹配泛化能力的终极路径。如果你在做 SFM 中的 rig 约束 BA，RoMa v2 提供的协方差信息可以作为 BA 优化的权重先验，进一步提升重建精度。
