PETRV2-BEV模型代码实例：从训练到推理全流程

PETRV2-BEV模型代码实例：从训练到推理全流程

1. 训练PETRV2-BEV模型

在自动驾驶感知系统中，基于视觉的3D目标检测技术近年来取得了显著进展。其中，PETR系列模型通过将相机视角（perspective view）特征与空间位置编码结合，在不依赖深度监督的情况下实现了高性能的BEV（Bird's Eye View）目标检测。本文以PETRV2-BEV模型为例，详细介绍其在Paddle3D框架下的完整训练与推理流程，涵盖环境配置、数据准备、模型训练、评估、可视化及模型导出等关键环节。

本实践基于PaddlePaddle深度学习框架和Paddle3D工具库，适用于多摄像头输入的3D目标检测任务。我们将使用NuScenes数据集进行模型训练，并演示如何在自定义数据集（如xtreme1）上迁移训练流程。

2. 使用星图AI算力平台训练PETRV2-BEV模型

星图AI算力平台为深度学习模型提供了高效、稳定的GPU计算资源支持，特别适合大规模视觉模型的训练与部署。通过该平台，用户可以快速搭建Paddle3D开发环境，实现从数据加载到模型导出的一站式操作。以下步骤均在星图平台提供的Linux远程主机环境中完成，确保了实验的可复现性和工程落地性。

3. 准备环境

3.1 进入paddle3d_env conda环境

首先激活预装有Paddle3D依赖的conda环境：

conda activate paddle3d_env

该环境已集成PaddlePaddle、Paddle3D及相关第三方库（如pycocotools、nuscenes-devkit等），无需额外安装即可运行后续命令。

4. 下载依赖

4.1 下载预训练权重

为了加速训练过程并提升收敛效果，我们采用官方提供的PETRV2预训练模型参数：

wget -O /root/workspace/model.pdparams https://paddle3d.bj.bcebos.com/models/petr/petrv2_vovnet_gridmask_p4_800x320/model.pdparams

该权重文件基于完整的NuScenes数据集训练得到，主干网络为VoVNet，具备较强的特征提取能力。

4.2 下载nuscenes v1.0-mini数据集

使用mini版本用于快速验证流程：

wget -O /root/workspace/v1.0-mini.tgz https://www.nuscenes.org/data/v1.0-mini.tgz mkdir -p /root/workspace/nuscenes tar -xf /root/workspace/v1.0-mini.tgz -C /root/workspace/nuscenes

解压后目录结构应包含samples、sweeps、maps和v1.0-mini标注文件夹。

5. 训练nuscenes v1.0-mini数据集

5.1 准备数据集

进入Paddle3D项目根目录并生成PETR专用标注信息：

cd /usr/local/Paddle3D rm /root/workspace/nuscenes/petr_nuscenes_annotation_* -f python3 tools/create_petr_nus_infos.py --dataset_root /root/workspace/nuscenes/ --save_dir /root/workspace/nuscenes/ --mode mini_val

此脚本会解析原始JSON标注，生成训练所需的petr_nuscenes_annotation_train.pkl和验证集petr_nuscenes_annotation_val.pkl。

5.2 测试精度（加载预训练模型）

在微调前先评估原始模型在mini数据集上的性能：

python tools/evaluate.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320_nuscene.yml \ --model /root/workspace/model.pdparams \ --dataset_root /root/workspace/nuscenes/

输出结果如下：

mAP: 0.2669 mATE: 0.7448 mASE: 0.4621 mAOE: 1.4553 mAVE: 0.2500 mAAE: 1.0000 NDS: 0.2878 Eval time: 5.8s Per-class results: Object Class AP ATE ASE AOE AVE AAE car 0.446 0.626 0.168 1.735 0.000 1.000 truck 0.381 0.500 0.199 1.113 0.000 1.000 bus 0.407 0.659 0.064 2.719 0.000 1.000 trailer 0.000 1.000 1.000 1.000 1.000 1.000 construction_vehicle 0.000 1.000 1.000 1.000 1.000 1.000 pedestrian 0.378 0.737 0.263 1.259 0.000 1.000 motorcycle 0.356 0.748 0.314 1.410 0.000 1.000 bicycle 0.063 0.760 0.236 1.862 0.000 1.000 traffic_cone 0.637 0.418 0.377 nan nan nan barrier 0.000 1.000 1.000 1.000 nan nan

可见模型在car、truck、bus等主要类别上有一定检测能力，但对trailer、bicycle等小类表现较差，需进一步微调优化。

5.3 模型训练

启动训练任务，设置基础超参：

python tools/train.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320_nuscene.yml \ --model /root/workspace/model.pdparams \ --dataset_root /root/workspace/nuscenes/ \ --epochs 100 \ --batch_size 2 \ --log_interval 10 \ --learning_rate 1e-4 \ --save_interval 5 \ --do_eval

说明：

• --epochs 100：训练100轮
• --batch_size 2：受限于显存，建议单卡使用batch=2
• --learning_rate 1e-4：初始学习率
• --do_eval：每保存一次模型即执行验证
• 日志与模型保存路径默认为output/

5.4 可视化训练曲线

使用VisualDL查看Loss和Metric变化趋势：

visualdl --logdir ./output/ --host 0.0.0.0

5.5 端口转发访问可视化界面

将远程服务端口映射至本地浏览器：

ssh -p 31264 -L 0.0.0.0:8888:localhost:8040 root@gpu-09rxs0pcu2.ssh.gpu.csdn.net

连接成功后，可在本地访问http://localhost:8888查看训练过程中的loss、lr、mAP等指标曲线。

5.6 查看Loss曲线

重点关注以下曲线：

• total_loss：总体损失是否平稳下降
• det_loss：检测分支损失收敛情况
• aux_loss：辅助任务（如depth classification）损失
• mAP/NDS：验证集性能指标变化趋势

若出现震荡或不降现象，可尝试调整学习率或检查数据标注质量。

5.7 导出PaddleInfer模型

训练完成后导出静态图模型用于推理：

rm -rf /root/workspace/nuscenes_release_model mkdir -p /root/workspace/nuscenes_release_model python tools/export.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320_nuscene.yml \ --model output/best_model/model.pdparams \ --save_dir /root/workspace/nuscenes_release_model

导出内容包括：

• inference.pdmodel：模型结构
• inference.pdiparams：模型权重
• inference.pdiparams.info：参数信息
• deploy.yaml：部署配置文件

5.8 运行DEMO，结果可视化

执行推理并生成可视化结果：

python tools/demo.py /root/workspace/nuscenes/ /root/workspace/nuscenes_release_model nuscenes

程序将随机选取测试样本，输出带3D框的BEV视图和front-view图像，便于直观评估模型性能。

6. 训练xtreme1数据集[可选]

6.1 准备数据集

若需在xtreme1数据集上训练，需先转换标注格式：

cd /usr/local/Paddle3D rm /root/workspace/xtreme1_nuscenes_data/petr_nuscenes_annotation_* -f python3 tools/create_petr_nus_infos_from_xtreme1.py /root/workspace/xtreme1_nuscenes_data/

该脚本适配xtreme1的数据组织方式，生成兼容PETR模型的pkl标注文件。

6.2 测试精度（零样本迁移）

直接加载原模型测试迁移性能：

python tools/evaluate.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320.yml \ --model /root/workspace/model.pdparams \ --dataset_root /root/workspace/xtreme1_nuscenes_data/

输出结果如下：

mAP: 0.0000 mATE: 1.0703 mASE: 0.8296 mAOE: 1.0807 mAVE: 0.6250 mAAE: 1.0000 NDS: 0.0545 Eval time: 0.5s Per-class results: Object Class AP ATE ASE AOE AVE AAE car 0.000 1.308 0.232 2.074 0.000 1.000 truck 0.000 1.114 0.621 0.042 0.000 1.000 bus 0.000 1.000 1.000 1.000 1.000 1.000 trailer 0.000 1.000 1.000 1.000 1.000 1.000 construction_vehicle 0.000 1.000 1.000 1.000 1.000 1.000 pedestrian 0.000 1.280 0.444 1.611 0.000 1.000 motorcycle 0.000 1.000 1.000 1.000 1.000 1.000 bicycle 0.000 1.000 1.000 1.000 1.000 1.000 traffic_cone 0.000 1.000 1.000 nan nan nan barrier 0.000 1.000 1.000 1.000 nan nan

结果显示模型在未经过fine-tuning时几乎无法检测任何对象（AP全为0），表明域差异较大，必须进行针对性训练。

6.3 模型训练

开始在xtreme1上微调：

python tools/train.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320.yml \ --model /root/workspace/model.pdparams \ --dataset_root /root/workspace/xtreme1_nuscenes_data/ \ --epochs 100 \ --batch_size 2 \ --log_interval 10 \ --learning_rate 1e-4 \ --save_interval 5 \ --do_eval

建议根据实际显存调整batch size，必要时启用梯度累积。

6.4 导出PaddleInfer模型

导出训练后的模型：

rm -rf /root/workspace/xtreme1_release_model mkdir /root/workspace/xtreme1_release_model python tools/export.py \ --config configs/petr/petrv2_vovnet_gridmask_p4_800x320.yml \ --model output/best_model/model.pdparams \ --save_dir /root/workspace/xtreme1_release_model

6.5 运行DEMO，结果可视化

验证推理效果：

python tools/demo.py /root/workspace/xtreme1_nuscenes_data/ /root/workspace/xtreme1_release_model xtreme1

观察BEV图中3D框的定位准确性，尤其关注遮挡、远距离目标的表现。

7. 总结

本文系统地展示了PETRV2-BEV模型在Paddle3D框架下的完整训练与推理流程，覆盖了从环境搭建、数据处理、模型训练、评估、可视化到模型导出的各个环节。通过在NuScenes mini数据集上的实践，验证了PETRV2的有效性；同时扩展至xtreme1数据集，揭示了跨域迁移的挑战与应对策略。

核心要点总结如下：

1. 预训练模型是关键：使用高质量预训练权重可大幅提升下游任务起点性能。
2. 数据标注格式需统一：不同数据集需编写适配脚本生成标准pkl标注文件。
3. 训练参数需合理设置：batch size、学习率、epoch数直接影响收敛效果。
4. 可视化不可或缺：VisualDL帮助监控训练状态，demo提供直观反馈。
5. 模型导出支持部署：PaddleInfer格式便于后续集成至车载或边缘设备。

未来可进一步探索：

• 多卡分布式训练加速
• 自动混合精度（AMP）优化显存占用
• 在更大规模数据集上训练以提升泛化能力
• 结合时间序列信息实现4D检测

掌握这一完整流程，有助于开发者快速构建基于视觉的BEV感知系统，推动自动驾驶算法的研发与落地。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。