零基础入门BEV+Transformer：用PETRV2-BEV模型实战自动驾驶感知

零基础入门BEV+Transformer：用PETRV2-BEV模型实战自动驾驶感知

你是否听说过“BEV”和“Transformer”这两个词在自动驾驶圈里频频出现？它们到底是什么？为什么连特斯拉、小鹏都在用这套技术路线？更重要的是——作为新手，能不能亲手跑一个BEV+Transformer的模型？

答案是：完全可以！

本文将带你从零开始，使用星图AI算力平台上的预置镜像“训练PETRV2-BEV模型”，一步步完成环境搭建、数据准备、模型训练与效果验证。不需要深厚的理论背景，也不需要昂贵的硬件设备，只要跟着操作，你就能亲眼看到AI如何通过多摄像头图像，在鸟瞰视角下识别出车辆、行人、交通锥等目标。

我们使用的模型是PETRv2——一种纯视觉BEV感知的代表性架构，它不依赖激光雷达，仅靠摄像头+Transformer就能实现高精度3D目标检测。整个过程全部基于Paddle3D框架，命令清晰、流程完整，适合初学者快速上手。

1. 什么是BEV+Transformer？为什么这么火？

1.1 BEV：让AI“俯视世界”

传统自动驾驶感知大多基于前视摄像头的图像，就像司机只看前方一样。但这样很难判断物体之间的相对位置关系。

而BEV（Bird’s Eye View，鸟瞰图）是把多个摄像头拍摄的画面，“拼接”成一张从天上往下看的地图。这种视角更接近人类对道路空间的整体理解，也更适合做路径规划和避障决策。

比如：

• 看到左边有辆自行车正在靠近
• 后方有一辆卡车快速驶来
• 前方路口有个行人正准备横穿

这些信息如果都统一投影到BEV空间中，系统就能一目了然地做出反应。

1.2 Transformer：让AI学会“全局思考”

过去常用CNN处理图像，但它更关注局部特征。而Transformer凭借其强大的注意力机制，能捕捉远距离的空间关联。

举个例子：一辆车被大树遮挡了一半，普通模型可能认不出来；但Transformer可以通过分析周围环境（如地面阴影、露出的轮胎），推断出那里确实停着一辆车。

当BEV遇上Transformer，就形成了当前最主流的技术范式：
用Transformer建模多视角图像 → 提取特征并映射到BEV空间 → 在BEV中进行3D目标检测

这类模型包括：BEVFormer、PETR、PETRv2、SurroundOcc 等。

2. PETRv2模型简介：纯视觉也能打

PETRv2 是 Paddle3D 团队推出的一种先进BEV感知模型，全称Position Embedding Transformation with Refinement v2。

它的核心思想是：直接利用相机参数将图像特征中的位置信息编码为3D空间坐标，并通过Transformer解码器进行查询匹配，最终输出BEV空间下的3D检测结果。

相比其他方法，PETRv2 的优势在于：

• 无需额外的视图变换网络：节省计算资源
• 支持端到端训练：从图像输入到3D框输出全程可导
• 对小目标敏感：能较好识别远处的行人或交通锥
• 适配性强：可在不同分辨率、不同摄像头布局下运行

我们在本次实践中使用的配置是petrv2_vovnet_gridmask_p4_800x320_nuscene.yml，这是一个经过优化的轻量级版本，适合在有限算力条件下快速验证效果。

3. 实战准备：一键部署开发环境

本实验依托CSDN星图AI算力平台提供的“训练PETRV2-BEV模型”镜像，已预装好PaddlePaddle、Paddle3D、VisualDL等必要组件，省去繁琐的依赖安装环节。

你只需要登录平台，启动该镜像实例，即可进入 ready-to-train 状态。

3.1 进入Conda环境

首先激活Paddle3D专用环境：

conda activate paddle3d_env

这个环境中已经集成了所有必要的Python库和CUDA驱动，无需再手动安装PyTorch或TensorFlow。

4. 数据与权重下载：准备好“弹药”

任何深度学习项目都离不开两样东西：数据和预训练权重。

4.1 下载预训练模型权重

我们不会从头训练一个模型，而是基于官方提供的预训练权重进行微调。这不仅能大幅缩短训练时间，还能提升收敛稳定性。

执行以下命令下载权重文件：

wget -O /root/workspace/model.pdparams https://paddle3d.bj.bcebos.com/models/petr/petrv2_vovnet_gridmask_p4_800x320/model.pdparams

该权重是在nuScenes完整数据集上训练得到的，具备良好的泛化能力。

4.2 下载nuScenes mini数据集

为了快速验证流程，我们先使用nuScenes v1.0-mini数据集，它是完整版的一个小样本子集，包含约40个场景，非常适合调试。

下载并解压：

wget -O /root/workspace/v1.0-mini.tgz https://www.nuscenes.org/data/v1.0-mini.tgz mkdir -p /root/workspace/nuscenes tar -xf /root/workspace/v1.0-mini.tgz -C /root/workspace/nuscenes

解压后你会看到如下目录结构：

/root/workspace/nuscenes/ ├── maps/ ├── samples/ ├── sweeps/ ├── annotations.json └── ...

这就是标准的nuScenes格式，包含了6个摄像头的同步图像、标定参数、3D标注信息等。

5. 数据预处理：让数据“能被读懂”

虽然数据已经下载好了，但PETRv2不能直接读取原始nuScenes格式。我们需要将其转换为模型所需的中间表示形式。

5.1 生成BEV检测所需的信息文件

切换到Paddle3D主目录，并运行数据处理脚本：

cd /usr/local/Paddle3D rm /root/workspace/nuscenes/petr_nuscenes_annotation_* -f python3 tools/create_petr_nus_infos.py \ --dataset_root /root/workspace/nuscenes/ \ --save_dir /root/workspace/nuscenes/ \ --mode mini_val

这个脚本会：

• 解析原始JSON标注
• 计算每个样本的BEV网格标签
• 生成petr_nuscenes_annotation_train.pkl和val.pkl文件

完成后，你的/root/workspace/nuscenes/目录下就会多出两个.pkl文件，它们就是训练时的数据索引。

6. 模型评估：看看预训练模型有多强

在开始训练之前，我们先测试一下预训练模型在mini数据集上的表现，看看它的“基本功”怎么样。

运行评估命令：

python tools/evaluate.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320_nuscene.yml \ --model /root/workspace/model.pdparams \ --dataset_root /root/workspace/nuscenes/

等待几秒后，输出如下指标：

mAP: 0.2669 mATE: 0.7448 mASE: 0.4621 mAOE: 1.4553 mAVE: 0.2500 mAAE: 1.0000 NDS: 0.2878 Eval time: 5.8s

别被这一串数字吓到，我们重点看两个：

• mAP（mean Average Precision）：平均精度，越高越好，0.2669 表示整体检测能力尚可，但在小数据集上偏低正常
• NDS（NuScenes Detection Score）：综合评分，融合了定位、尺度、方向等多个维度，0.2878 属于合理范围

再看各类别的AP值：

可以看到，汽车、行人、交通锥的识别效果都不错，尤其是交通锥达到了0.637，说明模型对静态小物体也有较强感知能力。

7. 开始训练：让模型学会“看懂”新数据

现在我们要让模型在nuScenes mini数据集上继续训练，进一步适应本地数据分布。

7.1 启动训练任务

执行以下命令：

python tools/train.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320_nuscene.yml \ --model /root/workspace/model.pdparams \ --dataset_root /root/workspace/nuscenes/ \ --epochs 100 \ --batch_size 2 \ --log_interval 10 \ --learning_rate 1e-4 \ --save_interval 5 \ --do_eval

参数说明：

训练过程中你会看到类似这样的日志：

Epoch 1/100, Step 10, Loss: 0.876, Time: 0.45s Epoch 1/100, Step 20, Loss: 0.721, Time: 0.44s ...

Loss逐渐下降，说明模型正在学习。

8. 可视化训练曲线：监控模型成长

光看数字不够直观，我们可以用VisualDL来画出Loss变化曲线，实时观察训练状态。

8.1 启动可视化服务

visualdl --logdir ./output/ --host 0.0.0.0

8.2 配置端口转发

由于实例运行在远程服务器上，你需要将本地端口映射过去：

ssh -p 31264 -L 0.0.0.0:8888:localhost:8040 root@gpu-09rxs0pcu2.ssh.gpu.csdn.net

然后在浏览器打开http://localhost:8888，就能看到训练Loss、学习率、评估指标的变化趋势。

你会发现：

• 总Loss快速下降后趋于平稳
• mAP缓慢上升，第50轮左右达到峰值
• NDS稳步提升，说明整体性能在增强

9. 导出推理模型：为部署做准备

训练完成后，我们会得到一系列检查点模型，其中最好的那个保存在output/best_model/目录下。

接下来要把它转换成可以在边缘设备上运行的格式。

9.1 导出Paddle Inference模型

rm -rf /root/workspace/nuscenes_release_model mkdir -p /root/workspace/nuscenes_release_model python tools/export.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320_nuscene.yml \ --model output/best_model/model.pdparams \ --save_dir /root/workspace/nuscenes_release_model

导出成功后，nuscenes_release_model文件夹中会包含：

• inference.pdmodel：模型结构
• inference.pdiparams：模型权重
• inference.yaml：配置文件

这三个文件组合起来就是一个独立的推理单元，可用于后续嵌入式部署或集成进自动驾驶系统。

10. 运行DEMO：亲眼见证AI的“上帝视角”

最后一步，让我们运行一个可视化DEMO，看看模型到底“看见”了什么。

python tools/demo.py /root/workspace/nuscenes/ /root/workspace/nuscenes_release_model nuscenes

程序会随机选取几张测试图像，经过模型推理后生成BEV视图下的3D检测结果，并以图形方式展示出来。

你会看到：

• 不同颜色的3D框标注出车辆、行人、障碍物
• 每个框带有类别标签和置信度分数
• 所有目标都被精准投射到鸟瞰地图中

这一刻，你真正实现了“让AI拥有上帝视角”。

11. 扩展训练：尝试自己的数据集（可选）

如果你有自己的采集数据（例如车载多目相机系统记录的视频），也可以尝试用PETRv2进行训练。

平台还提供了对xtreme1数据集的支持，这是一种更具挑战性的极端天气数据集（雨雾、低光照等）。

11.1 准备xtreme1数据

cd /usr/local/Paddle3D rm /root/workspace/xtreme1_nuscenes_data/petr_nuscenes_annotation_* -f python3 tools/create_petr_nus_infos_from_xtreme1.py /root/workspace/xtreme1_nuscenes_data/

11.2 开始训练

python tools/train.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320.yml \ --model /root/workspace/model.pdparams \ --dataset_root /root/workspace/xtreme1_nuscenes_data/ \ --epochs 100 \ --batch_size 2 \ --learning_rate 1e-4 \ --do_eval

注意：初始评估结果显示mAP为0.0000，这是因为预训练权重未在极端环境下见过类似样本，需充分训练才能恢复性能。

这正体现了迁移学习的价值：先在干净数据上学知识，再到复杂场景中练能力。

12. 总结：你已经迈出了第一步

恭喜你完成了从零到一的BEV+Transformer实战之旅！

回顾整个流程：

1. 我们了解了BEV+Transformer的核心价值
2. 使用星图平台镜像快速搭建环境
3. 下载数据与预训练权重
4. 完成数据预处理、模型评估、训练、导出全流程
5. 最终看到了AI生成的BEV检测结果

虽然这只是入门级实践，但它为你打开了通往自动驾驶感知世界的大门。

下一步你可以尝试：

• 调整模型超参数（学习率、batch size）
• 更换主干网络（VoVNet → ResNet）
• 在更大规模数据集上训练
• 尝试其他BEV模型（如BEVFormer、SurroundOcc）

记住：每一个顶尖工程师，都是从跑通第一个Hello World开始的。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。