WeatherGen：基于 Spider Mamba Diffusion 的统一多样化天气 LiDAR 点云生成框架

一、引言

1.1 研究背景与核心痛点

在自动驾驶等领域，3D 场景感知的性能直接决定了系统的可靠性。当前，基于大规模数据集的 3D 感知模型在晴朗天气下已取得了令人满意的效果，但在雨、雪、雾等恶劣天气条件下，性能往往会急剧下降。这一问题的核心原因在于：恶劣天气会导致激光散射、衍射，引发 LiDAR 点云的噪声增加和点丢失，严重破坏数据的完整性与准确性。

然而，获取恶劣天气下的真实 LiDAR 数据面临着巨大挑战：

• 成本高昂：数据采集需要耗费大量的时间、人力和物力，尤其在极端天气条件下，采集难度和成本呈指数级增长；
• 数据稀缺：现有公开数据集（如 Seeing Through Fog）中，恶劣天气数据规模极小（每种天气仅 200-3000 帧），无法满足生成模型的训练需求；
• 传统方法局限：现有 LiDAR 模拟器多采用单一物理模型针对单一天气场景设计，且不具备学习能力。由于光学传播过程的复杂性和传感器参数的不完全可知性，这些方法生成的数据与真实数据存在显著的领域偏移（domain shift），保真度极低。

1.2 研究目标

本文提出了一个核心问题：能否构建一个统一、高保真、多样化的恶劣天气 LiDAR 数据生成框架？为实现这一目标，需要解决三个关键挑战：

1. 高质量数据生成器：如何获取满足生成模型训练需求的、多样化且贴近真实分布的恶劣天气 LiDAR 数据？
2. 高保真生成网络：如何设计适配 LiDAR 数据特性的生成模型，在处理噪声和点丢失的同时，保持数据的物理结构？
3. 高区分度控制器：如何让生成模型能够精准响应不同天气的控制信号，避免在统一框架中出现天气类型混淆？

1.3 核心贡献

针对上述挑战，本文提出了 WeatherGen 框架，其核心贡献如下：

1. 提出了首个统一的多样化天气 LiDAR 数据生成框架，通过地图映射式的数据生成器（MDP）为训练提供高质量数据；
2. 设计了 Spider Mamba 生成器（SMG），通过沿 LiDAR 光束圈和中心射线建模，有效保持数据的物理结构，并结合潜在特征对齐器（LFA）融入真实世界知识；
3. 提出了基于对比学习的控制器（CLC），通过语言监督让控制信号学习到紧凑且具有区分度的语义知识，实现精准的天气条件控制；
4. 构建了 mini-weather 数据集，实验验证了生成数据在 3D 目标检测任务中的有效性，显著提升了恶劣天气下的下游任务性能。

原文链接：https://arxiv.org/pdf/2504.13561

代码链接：https://github.com/wuyang98/weathergen

沐小含持续分享前沿算法论文，欢迎关注...

二、相关工作

2.1 LiDAR 数据模拟

早期方法（如 DROR）通过 3D 异常值检测算法对恶劣天气下的 LiDAR 数据进行去噪，但未涉及数据生成。近年来，基于物理模型的模拟方法逐渐涌现：

• FSRL：基于光学原理模拟雾天数据；
• LSS：考虑地面湿润影响，模拟雪天数据；
• LISA：为雨、雪、雾设计不同参数的模拟模型。

这些方法的共同局限是：仅能针对单一天气设计专用模型，且生成数据的保真度受限于物理模型的准确性，无法匹配真实数据分布。

2.2 LiDAR 数据生成

现有 LiDAR 数据生成方法多基于 GAN 或扩散模型（DDPM）：

• LiDARGen：首次验证了扩散模型在 LiDAR 数据生成中的可行性；
• LiDM、R2DM、Text2LiDAR：基于 DDPM 设计了更成熟的生成框架，但均未针对多样化天气场景优化；
• 共性问题：现有方法多将 LiDAR 数据投影为范围图（range map）后，采用卷积或自注意力机制处理，破坏了 LiDAR 数据的环形物理结构。

2.3 状态空间模型（SSM）

SSM 通过潜在状态连接输入输出序列，在序列建模中表现出色。Mamba 作为 SSM 的优化版本，引入了选择机制，能够选择性地传播或遗忘信息，在自然语言处理和计算机视觉领域均取得了突破。与 Transformer 相比，Mamba 具有更好的鲁棒性和泛化能力，且计算复杂度与序列长度呈线性关系，适合处理 LiDAR 这类大规模点云数据。本文首次将 Mamba 适配到 LiDAR 数据生成任务中，设计了 Spider Mamba 结构。

三、方法详解

WeatherGen 的整体框架如图 2 所示，核心由三部分组成：地图映射式数据生成器（MDP）、Spider Mamba 生成器（SMG）+ 潜在特征对齐器（LFA）、基于对比学习的控制器（CLC）。框架采用 “预训练 + 微调” 的训练策略，最终通过扩散模型的去噪过程生成高保真多样化天气 LiDAR 数据。

注：MDP 生成训练数据；SMG 遵循 LiDAR 成像过程建模去噪特征，LFA 将真实世界知识融入生成器；CLC 通过对比学习生成具有区分度的控制信号。

3.1 基础理论：DDPM 与 SSM

3.1.1 去噪扩散概率模型（DDPM）

DDPM 的核心是通过 “加噪 - 去噪” 过程学习数据分布，分为三个阶段：

1. 扩散过程（加噪）：从真实数据出发，逐步加入高斯噪声，最终得到纯噪声数据。单步加噪公式为：，其中（为噪声权重），通过迭代推导可得到任意时刻t的数据分布：，其中，。

2. 推理过程（去噪）：从纯噪声出发，逐步恢复真实数据。后验分布为：

   其中，，是由 SMG 预测的噪声。

3. 训练过程：目标是让模型学习预测加噪过程中的噪声，采用均方误差（MSE）损失函数。

3.1.2 状态空间模型（SSM）

SSM 通过潜在状态建模序列动态，连续形式的动力学方程为：

其中A为状态演化矩阵，B和C为投影矩阵。通过零阶保持离散化后得到：

其中，（为步长参数）。最终输出通过全局卷积得到：（为结构化卷积核）。

3.2 地图映射式数据生成器（MDP）

MDP 的目标是生成多样化、贴近真实分布的恶劣天气 LiDAR 数据，用于模型预训练。与传统非学习型模拟器不同，MDP 引入了可学习掩码，能够自适应对齐真实数据分布。

3.2.1 核心设计

1. 数据格式转换：首先将晴朗天气下的真实 LiDAR 点云（包含坐标和强度）转换为范围图，范围图的行列分别对应 LiDAR 的光束圈和中心射线，保留了数据的物理结构。

2. 地图映射生成：通过地图到地图（map-to-map）的方式，生成不同天气的范围图，公式如下：

其中各参数含义：

• ：天气类型；
• ：固定掩码（0/1），模拟激光的距离衰减（时置 0，否则置 1，d为点云距离）；
• ：可学习掩码，通过训练自适应调整，使生成数据对齐真实分布；
• ：与天气严重程度相关的随机噪声（越小，天气越恶劣）；
• BDF：伯努利分布函数，模拟点云的随机丢失，丢失率与相关。

3.2.2 优势

MDP 通过 “固定掩码 + 可学习掩码” 的组合，既保证了生成数据具有对应天气的基本特性（如雾天远距离点丢失、雪天随机噪声），又能通过学习自适应匹配真实数据分布，解决了传统模拟器保真度低的问题。

3.3 Spider Mamba 生成器（SMG）与潜在特征对齐器（LFA）

SMG 是 WeatherGen 的核心生成网络，专为 LiDAR 数据的物理结构设计，配合 LFA 融入真实世界知识，提升生成数据的保真度。

3.3.1 Spider Mamba 核心设计

现有方法（卷积、自注意力）在处理 LiDAR 范围图时存在明显缺陷：卷积仅能局部建模，自注意力则无序连接所有点，破坏了 LiDAR 的环形物理结构（如图 3 所示）。

注：(a) Spider Mamba 沿光束圈和中心射线建模，保持物理结构；(b) 卷积局部建模；(c) 自注意力无序连接，破坏物理特性。

为解决这一问题，SMG 采用以下设计：

1. 建模方式：沿 LiDAR 的光束圈（范围图行）和中心射线（范围图列）进行序列建模，完全匹配 LiDAR 的成像过程；
2. 网络结构：采用 U 形去噪结构，编码器和解码器均由卷积块和 Spider Mamba 块组成；
3. 高效计算：参考 UltraLight VM-UNet，将特征按通道分解为 4 个分支，分别进行 Mamba 建模，降低计算复杂度。

3.3.2 SMG 训练过程

1. 输入加噪后的范围图，通过卷积映射为潜在特征（为像素数，为通道数）；
2. 将按通道分解为 4 个分支，每个分支通过线性投影转换为嵌入；
3. 将输入 Mamba 层，经过层迭代得到输出，归一化后通过 MLP 头得到预测特征；
4. 拼接 4 个分支的得到最终潜在特征，通过解码器输出预测噪声；
5. 采用 MSE 损失监督噪声预测：

其中为 SMG 的可学习参数，为时间步嵌入，为 CLC 输出的控制信号。

3.3.3 潜在特征对齐器（LFA）

为进一步提升生成数据的真实性，LFA 将真实世界数据的分布知识融入 SMG，具体流程：

1. 利用 SMG 预测的噪声进行一步生成，得到；
2. 将生成数据与真实恶劣天气数据通过线性投影映射到统一潜在空间；
3. 从两者的潜在分布中采样和，采用 KL 散度对齐两个分布：

其中（为随机噪声）。

LFA 通过直接对齐生成数据与真实数据的分布，让模型学习到真实天气的特征模式，进一步缩小了生成数据与真实数据的差距。

3.4 基于对比学习的控制器（CLC）

CLC 的目标是生成具有高区分度的天气控制信号，避免在统一框架中出现天气类型混淆，核心是通过对比学习和语言监督，让控制信号学习到紧凑的语义知识。

3.4.1 核心结构

CLC 由两部分组成：

1. 天气编码器：输入原始天气数据，输出天气嵌入；
2. 冻结的 CLIP 文本编码器：输入预设的天气文本提示（“snow”“rain”“fog”“clear”），输出语义嵌入。

3.4.2 对比学习损失

CLC 的损失函数基于信息瓶颈（IB）理论，通过对比学习优化天气嵌入与语义嵌入的互信息：

其中：

• 为互信息；
• （经验设置）；
• 为 CLC 的可学习参数；
• 优化目标：最小化与非对应天气语义嵌入的互信息（减少冗余），最大化与对应天气语义嵌入的互信息（增强区分度）。

3.4.3 控制信号融合

最终的天气控制信号w与时间步嵌入t拼接后，沿通道维度与 SMG 的特征融合，指导模型生成对应天气的 LiDAR 数据。

3.5 整体损失函数与训练策略

3.5.1 整体损失

预训练阶段的整体损失函数为三部分损失之和：

3.5.2 训练流程

1. 预训练：使用 MDP 生成的多样化天气数据训练模型，优化所有参数；
2. 微调：使用真实世界的恶劣天气数据（Seeing Through Fog 数据集）微调模型，固定 MDP 的参数，更新 SMG、LFA 和 CLC 的参数；
3. 推理：微调完成后，仅使用 CLC 和 SMG 进行推理，通过 DDPM 的去噪过程生成目标天气的 LiDAR 数据。

四、实验验证

4.1 实验设置

4.1.1 数据集

• KITTI-360：以晴朗天气为主，包含 50,348 帧训练 / 验证数据和 26,367 帧测试数据，用于无条件生成实验；
• Seeing Through Fog：包含雪、雨、雾三种恶劣天气数据（每种天气 200-3000 帧），用于有条件生成、消融实验和下游任务验证。

4.1.2 评价指标

• 分布相似度指标：用于衡量生成数据与真实数据的分布差异：
  • FPD（Frechet Point Cloud Distance）：点云形式的 Frechet 距离；
  • FRD（Frechet Range map Distance）：范围图形式的 Frechet 距离；
  • MMD（Minimum Matching Distance）：BEV 占用网格的最小匹配距离；
  • JSD（Jensen-Shannon Divergence）：BEV 占用网格的 JS 散度；注：所有指标均为 “越小越好”。
• 下游任务指标：3D 目标检测的 AP（Average Precision），包括 Car AP@0.5IoU、Cyclist AP@0.25IoU、Pedestrian AP@0.25IoU，以及不同距离区间（0-30m、30-50m、50-80m）的 AP（“越大越好”）。

4.1.3 对比方法

• 无条件生成：LiDAR-GAN、LiDAR-VAE、ProjectedGAN、LiDARGen、LiDM、R2DM、Text2LiDAR；
• 有条件生成（天气模拟）：LSS（雪）、FSRL（雾）、LISA（雨 / 雪 / 雾）；
• 下游任务对比：DROR、FSRL、LSS、LISA（均为基于模拟数据的增强方法）。

4.2 无条件生成实验

无条件生成实验旨在验证 WeatherGen 在晴朗天气下的生成质量，结果如表 1 所示。

从表 1 可以看出：

• WeatherGen 在 FRD、BEV MMD 和 BEV JSD 指标上均取得最优成绩，FPD 指标仅次于 Text2LiDAR；
• 与 Text2LiDAR 相比，WeatherGen 的参数更少（31.7M vs 45.8M），生成速度更快（7.83s vs 12.57s），实现了性能、参数和速度的平衡。

视觉对比结果如图 4 所示，WeatherGen 生成的点云具有更清晰的物体轮廓和更完整的结构，而 R2DM 和 Text2LiDAR 生成的点云噪声较多，且存在点云穿透物体的问题。

注：WeatherGen 生成的点云更符合 LiDAR 物理特性，物体轮廓清晰。

4.3 有条件生成实验

有条件生成实验验证 WeatherGen 在雪、雨、雾三种恶劣天气下的生成质量，定量对比结果如表 2 所示。

从表 2 可以看出：

• 对于雪和雨天气，WeatherGen 的所有指标均显著优于传统模拟方法，FPD 指标分别降低了 43.3%（雪）和 71.3%（雨）；
• 对于雾天气，WeatherGen 的 FRD、BEV MMD 和 BEV JSD 指标均优于 FSRL，仅 FPD 指标略高，整体表现更优。

视觉对比结果如图 5 所示，WeatherGen 生成的数据在成像特征和天气特性上与真实数据高度一致，而传统模拟方法生成的数据与真实数据存在明显差异。

注：WeatherGen 生成的数据与真实数据在噪声分布、点丢失模式上高度匹配。

4.4 消融实验

消融实验在 Seeing Through Fog 的 “大雪” 测试集上进行，验证各核心模块的有效性，结果如表 3 所示。

消融实验结论：

1. MDP 的有效性：移除 MDP（-MDP）后，FPD 和 BEV JSD 指标下降，说明可学习的数据生成器能提供更高质量的训练数据；
2. SMG 的有效性：用 U-Net 替代 SMG（-SMG）后，所有指标均下降，说明 Spider Mamba 的建模方式更适配 LiDAR 数据的物理结构；
3. CLC 的有效性：移除 CLC（-CLC）后，控制信号质量下降，导致生成数据与目标天气不匹配，指标恶化；
4. LFA 的有效性：加入 LFA（+LFA）后，FRD 和 BEV MMD 指标提升，说明真实数据分布对齐能增强生成数据的保真度；
5. 微调的有效性：经过微调（+ 微调）后，所有指标均显著提升，验证了 “预训练 + 微调” 策略的合理性。

此外，t-SNE 可视化结果（图 6）显示，WeatherGen 生成的数据分布与真实数据高度重叠，而传统模拟数据（无 MDP 和微调）与真实数据存在明显偏移。

注：WeatherGen 生成的数据（红色）与真实数据（蓝色）分布更接近，模拟数据（绿色）偏移明显。

4.5 下游任务：3D 目标检测

为验证生成数据的实际价值，本文构建了 mini-weather 数据集（每种天气 256 帧，使用 LabelCloud 标注），将其用于 3D 目标检测模型的训练增强，对比结果如表 4-6 所示（采用 PointPillars 作为检测器）。

表 4 浓雾场景 3D 目标检测结果

表 5 大雪场景 3D 目标检测结果

表 6 雨天场景 3D 目标检测结果

下游任务实验结论：

1. WeatherGen 生成的数据在 21 个评价指标中，18 个指标取得最优成绩，显著优于传统模拟数据增强方法；
2. 仅使用 7.4% 的生成数据（替换训练集中 256 帧晴朗数据），就能大幅提升恶劣天气下的检测性能，其中浓雾场景的 Pedestrian AP 提升 5.73%，雨天场景的 50-80m Car AP 提升 5.56%；
3. 生成数据的标注成本远低于真实数据采集（几天 vs 几年），具有极高的实际应用价值。

4.6 复杂度分析

模型复杂度对比结果如图 8 所示，WeatherGen 在参数数量、生成速度和性能之间实现了最优平衡：

• 与 R2DM 相比，WeatherGen 仅增加 0.6M 参数，FRD 指标提升 7.38%；
• 与 LiDARGen 相比，WeatherGen 的 FRD 指标提升 76.07%，生成速度提升 91.16%；
• 与 Transformer-based 的 Text2LiDAR 相比，WeatherGen 参数更少（31.7M vs 45.8M），生成速度更快（7.83s vs 12.57s），且 BEV 指标更优。

注：WeatherGen 在性能、参数、速度三者间达到最佳平衡。

五、结论与展望

5.1 主要结论

本文提出了 WeatherGen，首个统一的多样化天气 LiDAR 数据生成框架，通过以下创新点解决了现有方法的局限：

1. 地图映射式数据生成器（MDP）：提供高质量、多样化的训练数据，自适应对齐真实分布；
2. Spider Mamba 生成器（SMG）：沿 LiDAR 物理结构建模，保持数据的空间特性；
3. 潜在特征对齐器（LFA）：融入真实世界知识，提升生成数据保真度；
4. 基于对比学习的控制器（CLC）：实现精准的天气条件控制，避免类型混淆。

实验验证表明，WeatherGen 生成的数据在分布相似度和下游任务性能上均显著优于现有方法，构建的 mini-weather 数据集为恶劣天气下的 3D 感知研究提供了重要支持。

5.2 未来展望

1. 扩展更多天气类型（如沙尘、冰雹），进一步提升框架的通用性；
2. 优化模型的计算效率，实现实时生成，满足自动驾驶系统的在线数据增强需求；
3. 结合多传感器数据（如相机图像、雷达数据），生成多模态的恶劣天气数据，推动多模态感知研究。