1. 为什么需要掌握trtexec的进阶用法
第一次接触TensorRT的开发者往往只把trtexec当作简单的模型转换工具，但实际生产环境中会遇到各种复杂需求。比如上周我部署一个动态批处理的YOLOv5模型时，发现默认参数生成的引擎在真实场景下性能只有预期的一半。经过反复调试才发现是工作空间（workspace）设置不足导致卷积算法选择受限。
trtexec作为TensorRT官方命令行工具，能处理从基础模型转换到高级性能调优的全流程。与Python API相比，它的优势在于：
- 快速验证：无需编写代码即可测试不同精度下的推理速度
- 生产就绪：直接生成可部署的序列化引擎文件
- 完整参数支持：覆盖动态形状、DLA加速等高级特性
举个例子，当我们需要对比FP16和INT8精度在T4显卡上的耗时差异时，用trtexec只需要两行命令：
# FP16测试 ./trtexec --onnx=model.onnx --fp16 --saveEngine=fp16.engine # INT8测试（需校准数据） ./trtexec --onnx=model.onnx --int8 --calib=calibration.cache --saveEngine=int8.engine2. 动态批次处理的实战技巧
2.1 理解显式批处理与隐式批处理
早期TensorRT使用隐式批处理（implicit batch），要求所有输入维度固定。现在更推荐显式批处理（explicit batch），它通过--minShapes/optShapes/maxShapes参数支持动态维度。我在处理视频分析任务时，发现动态批次能显著提升GPU利用率。
典型配置示例：
./trtexec --onnx=detector.onnx \ --minShapes=input:1x3x640x640 \ --optShapes=input:8x3x640x640 \ --maxShapes=input:16x3x640x640 \ --saveEngine=dynamic.engine2.2 形状配置的避坑指南
新手常犯的错误是：
- 未设置
--explicitBatch标志（ONNX模型自动启用） - optShapes取值不合理（建议设为最常用尺寸）
- 忘记包含批次维度（必须是4维张量）
实测发现，当实际输入尺寸超出预设范围时，引擎会自动回退到最接近的合法形状。比如设置maxShapes为16x3x640x640但传入24批次时，实际会按16批次执行。
3. 多精度转换与DLA加速
3.1 FP16/INT8的精度取舍
在Jetson Xavier上测试ResNet50时，FP16通常比FP32快2倍，而INT8能再提升50%速度。但要注意：
- FP16：需要GPU支持（Pascal架构以上）
- INT8：需校准数据集（建议500-1000张图片）
校准数据生成示例：
# 先构建临时校准引擎 ./trtexec --onnx=model.onnx --int8 --buildOnly --saveEngine=calib.engine # 运行校准（需自定义数据加载逻辑） # 生成校准缓存文件后用于正式转换3.2 DLA核心的使用策略
Jetson设备包含专用深度学习加速器（DLA），通过--useDLACore参数启用。关键技巧：
- 检查层支持情况：
trtexec --verbose会显示哪些层跑在DLA上 - 回退机制：添加
--allowGPUFallback避免不兼容层导致失败 - 多DLA核心：NVIDIA Xavier有2个DLA核心，可并行使用
典型DLA命令：
./trtexec --onnx=model.onnx \ --useDLACore=0 \ --fp16 \ --allowGPUFallback4. 性能调优高级参数解析
4.1 工作空间与算法选择
工作空间（workspace）大小直接影响卷积算法的选择范围。建议：
- 简单模型：1024MB足够
- 复杂模型（如3D CNN）：需要4096MB以上
- 内存不足时可尝试
--noBuilderCache关闭时序缓存
# 大模型工作空间设置示例 ./trtexec --onnx=large_model.onnx \ --workspace=4096 \ --fp164.2 多流并发与吞吐量优化
通过--streams参数启用多流处理，能显著提升吞吐量。实测ResNet50在T4显卡上：
- 单流：450 FPS
- 4流：1200 FPS
但要注意：
- 每个流需要额外显存
- 最佳流数量与GPU架构相关（图灵架构建议2-4流）
./trtexec --loadEngine=model.engine \ --streams=4 \ --duration=60 # 延长测试时间获取稳定数据5. 生产环境部署建议
5.1 引擎兼容性处理
不同TensorRT版本生成的引擎可能不兼容。解决方法：
- 在目标设备上直接生成引擎
- 或指定
--safe模式生成跨版本引擎
5.2 性能监控与日志
建议总是添加这些参数：
--exportTimes=perf.json # 输出详细耗时 --dumpProfile # 打印各层耗时 --verbose # 显示警告信息遇到性能问题时，可以对比optShapes与实际输入形状的差异，这往往是性能突降的主要原因。
