星图AI平台快速上手：PETRV2-BEV模型训练指南

星图AI平台快速上手：PETRV2-BEV模型训练指南

1. 引言：为什么选择星图AI训练BEV模型？

如果你正在研究自动驾驶或者3D视觉感知，一定听说过BEV（鸟瞰图）模型。它能把多个摄像头拍到的画面，像拼图一样合成一个上帝视角的“地图”，让车辆能“看”到周围360度的环境。PETRV2就是这类模型里的佼佼者。

但问题来了：自己从零开始搭环境、下数据、调代码，没个一两天搞不定，还经常卡在莫名其妙的依赖错误上。这就是星图AI平台的价值所在——它提供了一个叫“训练PETRV2-BEV模型”的预置镜像，里面环境、代码、工具全给你配好了，你只需要跟着步骤跑起来就行。

这篇文章就是你的操作手册。我会带你走一遍完整的流程：从激活环境、下载数据，到训练模型、看效果，最后还能把模型导出来用。整个过程就像搭乐高，照着图纸一步步来，保证你能做出一个能用的3D检测模型。

2. 第一步：启动你的训练环境

万事开头难，但在这里，开头特别简单。所有复杂的软件包（比如PaddlePaddle深度学习框架、Paddle3D 3D视觉工具包）都已经在镜像里安装好了。你需要做的就一件事：进入正确的Python环境。

打开终端，输入下面这行命令：

conda activate paddle3d_env

看到命令行前面出现(paddle3d_env)的提示了吗？这就对了，说明你已经进入了专门为Paddle3D准备的环境。如果没看到，或者报“command not found”，别慌，检查一下你是不是在星图AI平台提供的那个计算实例里。

这一步相当于你进了一个已经装修好、工具齐全的工作间，接下来就可以直接开工了。

3. 第二步：准备“原材料”——模型和数据

盖房子需要砖头和图纸，训练模型也需要两样东西：一个预先学了一些知识的“大脑”（预训练权重），和一大堆带标注的“教材”（数据集）。

3.1 下载模型的“起点大脑”

我们不是从一张白纸开始训练，那样太慢了。PETRV2的作者已经用海量数据训练了一个基础版本，我们把它下载下来，在这个基础上继续学习（这叫做微调）。运行下面的命令：

wget -O /root/workspace/model.pdparams https://paddle3d.bj.bcebos.com/models/petr/petrv2_vovnet_gridmask_p4_800x320/model.pdparams

这个命令会从百度云的服务器上下载一个大约300MB的文件，放到你的工作目录。这个文件里保存了模型的所有“知识”（参数）。

3.2 下载练习用的“迷你教材”

我们用著名的nuScenes自动驾驶数据集来训练。但完整数据集太大，有几十个G，第一次尝试我们用它的迷你版v1.0-mini，体积小，跑得快，适合练手。

# 下载迷你数据集压缩包 wget -O /root/workspace/v1.0-mini.tgz https://www.nuscenes.org/data/v1.0-mini.tgz # 创建一个文件夹用来放解压后的数据 mkdir -p /root/workspace/nuscenes # 解压文件到刚才创建的文件夹 tar -xf /root/workspace/v1.0-mini.tgz -C /root/workspace/nuscenes

解压完成后，去/root/workspace/nuscenes目录下看看，应该会有samples（图片）、sweeps（点云扫描数据）等文件夹。我们的“教材”就准备好了。

4. 第三步：开始训练你的模型

现在进入核心环节：让模型学习。整个过程是标准的三段式：准备数据、评估起点、开始学习。

4.1 处理数据，生成“学习目录”

原始数据是散乱的图片和标注文件，模型看不懂。我们需要用Paddle3D提供的脚本，把它们整理成模型能理解的格式（通常是几个JSON文件）。

# 进入Paddle3D的安装目录 cd /usr/local/Paddle3D # 删除可能存在的旧标注文件（如果有的话） rm /root/workspace/nuscenes/petr_nuscenes_annotation_* -f # 运行脚本，生成新的标注文件 python3 tools/create_petr_nus_infos.py \ --dataset_root /root/workspace/nuscenes/ \ --save_dir /root/workspace/nuscenes/ \ --mode mini_val

运行完，在数据目录下会生成petr_nuscenes_annotation_train.json和petr_nuscenes_annotation_val.json两个文件。这就是模型的“学习目录”和“考试大纲”。

4.2 看看“起点大脑”现在有多聪明

在开始教它新东西之前，我们先考考它现在在迷你数据集上的水平。这能给我们一个基准，知道训练后进步了多少。

python tools/evaluate.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320_nuscene.yml \ --model /root/workspace/model.pdparams \ --dataset_root /root/workspace/nuscenes/

你会看到一长串输出，重点关注这几个指标：

看到NDS只有0.28左右，说明这个预训练模型在没学习新数据前，在这个小测试集上表现一般。我们的目标就是通过训练，把这个分数提上去。

4.3 启动训练，让模型开始学习

现在，正式的训练开始了。我们告诉模型：这是数据，这是你的起点，用这个速度学，学100遍，每学5遍存个档，每学10遍汇报一下进度。

python tools/train.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320_nuscene.yml \ --model /root/workspace/model.pdparams \ --dataset_root /root/workspace/nuscenes/ \ --epochs 100 \ --batch_size 2 \ --log_interval 10 \ --learning_rate 1e-4 \ --save_interval 5 \ --do_eval

这里有几个关键参数，我用大白话解释一下：

• --epochs 100：把整个迷你数据集从头到尾学100遍。
• --batch_size 2：每次学习看2张图（因为显存有限，图很大）。
• --learning_rate 1e-4：学习速度。太大容易学歪，太小学得慢，1e-4是个不错的起点。
• --save_interval 5：每学完5遍（5个epoch），就把当前学到的知识存个档。
• --do_eval：每次存档的时候，顺便用验证集考一下，看看成绩有没有提高。

训练开始后，屏幕上会滚动显示损失（loss）在下降，这说明模型正在慢慢变好。所有训练过程中的日志和存档的模型，都会保存在当前目录下的output/文件夹里。

4.4 打开“监控面板”，实时查看学习曲线

光看文字日志不够直观。Paddle3D集成了VisualDL工具，它能用网页图表实时展示训练过程，就像汽车的仪表盘。

首先，在训练环境中启动VisualDL服务：

visualdl --logdir ./output/ --host 0.0.0.0 --port 8040

然后，因为服务跑在远程的星图AI服务器上，我们需要在本地电脑和服务器之间搭一座“桥”（端口转发）。在你的本地电脑终端（不是星图AI的终端）里运行类似下面的命令：

ssh -p <你的端口号> -L 0.0.0.0:8888:localhost:8040 root@<你的服务器地址>

注意：这里的<你的端口号>和<你的服务器地址>需要替换成星图AI平台提供给你的实际连接信息。

桥搭好后，打开你本地电脑的浏览器，访问http://localhost:8888。你就能看到一个漂亮的图表页面，里面有多条曲线：

• Loss曲线：应该是一条稳步下降的线，如果剧烈震荡或上升，说明学习出问题了。
• mAP/NDS曲线：应该是一条波动上升的线，代表模型在验证集上的成绩越来越好。

看着曲线一点点变好，会非常有成就感。

5. 第四步：验收成果，让模型“上岗工作”

训练完成后，我们得到了一个更聪明的模型。但训练用的模型格式（动态图）不适合直接拿来部署应用，我们需要把它“固化”下来，然后实际跑一下看看效果。

5.1 导出“固化”的推理模型

# 清理并创建新的导出目录 rm -rf /root/workspace/nuscenes_release_model mkdir -p /root/workspace/nuscenes_release_model # 执行导出命令 python tools/export.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320_nuscene.yml \ --model output/best_model/model.pdparams \ --save_dir /root/workspace/nuscenes_release_model

导出的模型通常包含三个文件：model.pdmodel（网络结构）、model.pdiparams（模型权重）和deploy.yaml（配置）。这种格式的模型推理速度更快，也更容易部署到各种设备上。

5.2 运行演示程序，亲眼看看检测效果

纸上得来终觉浅，是骡子是马拉出来遛遛。我们用导出的模型，在数据集里的图片上跑一遍推理，并把检测结果（3D框）画到图上。

python tools/demo.py /root/workspace/nuscenes/ /root/workspace/nuscenes_release_model nuscenes

运行成功后，去output/demo/目录下找生成的图片。你会看到原始的摄像头画面，以及模型预测出的、叠加在画面上的3D边界框（可能是不同颜色的方框）。对比一下训练前后的效果，你会直观地感受到模型的进步。

6. 第五步：挑战升级（可选）——在更复杂的数据集上训练

用迷你数据集走通流程后，你可以挑战一下更真实、更复杂的场景。XTREME1数据集就是这样一个选择，它的场景更多样，挑战更大。

操作流程和nuScenes几乎一模一样，只是用的脚本和配置文件稍有不同：

1. 准备数据：使用create_petr_nus_infos_from_xtreme1.py脚本。
2. 评估起点：你会发现预训练模型在这里几乎“瞎了”（mAP接近0），说明领域差异很大。
3. 重新训练：用XTREME1的数据从头开始微调模型。
4. 导出和演示：同样导出模型并可视化结果。

具体命令在镜像文档里都有，你可以把它当作一个课后练习题，巩固一下刚才学到的所有步骤。

7. 常见问题与贴心提示

第一次跑，难免会遇到些小麻烦。这里有几个常见问题和解决办法：

• 问题：运行命令说找不到paddle3d模块。

  • 解决：99%的情况是你忘了激活环境。回去执行conda activate paddle3d_env。

• 问题：训练时报错“CUDA out of memory”（显存不足）。

  • 解决：把训练命令里的--batch_size 2改成--batch_size 1。如果还不行，可以尝试在配置文件中降低图像分辨率。

• 问题：VisualDL网页打不开。

  • 解决：检查端口转发命令是否执行正确，本地浏览器是否访问的http://localhost:8888（注意是8888，不是8040）。

给新手的几个建议：

1. 先小后大：务必先用v1.0-mini跑通整个流程，确认所有步骤都没问题后，再尝试下载完整的、几十GB的数据集进行训练，避免浪费时间和算力。
2. 勤保存：训练过程中，--save_interval设置的存档点很重要。万一训练中断，你可以从最近的一个存档点恢复，而不是从头开始。
3. 会看图：多花时间看看VisualDL上的曲线。Loss不降了、指标波动太大，都可能是学习率不合适或模型有问题的信号。

8. 总结

到这里，你已经完成了一次完整的BEV模型训练实战。我们回顾一下核心步骤：

1. 环境准备：一行命令激活全配好的环境。
2. 获取资源：下载预训练模型和迷你数据集。
3. 数据处理：将原始数据转换成模型能吃的格式。
4. 模型训练与监控：启动训练，并用可视化工具实时观察学习过程。
5. 模型导出与测试：将训练好的模型固化，并运行演示程序查看实际检测效果。

这套流程不仅适用于PETRV2，其思想也适用于其他大多数深度学习模型。星图AI平台提供的预置镜像，把最繁琐的环境搭建环节解决了，让你能专注于模型和算法本身。

你的下一步可以是什么？

• 尝试用完整的nuScenes数据集训练，追求更高的NDS分数。
• 研究配置文件，试试更换不同的主干网络（Backbone）。
• 探索Paddle3D里其他的BEV模型，比如BEVDepth。
• 学习如何将这个模型部署到实际的嵌入式设备上。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。