Lerobot-sim2real运行问题记录

前言

• 今天在测试Lerobot-sim2real时出现问题，重新将Lerobot的record代码看了一下明白了。还是要看代码，不能依赖AI工具。

结论

• Lerobot主从摇操机械臂中并未用到URDF文件
• Lerobot主从摇操中主要采集的时主机械臂的数据，从机械臂是执行主机械臂的关节数据。但是注意，你遥操的时候是看着从机械臂遥操的。所以此时主从机械臂其实尺寸不同也没关系，因为ACT最终学习的是观测视频和关节角度的映射关系
• Lerobot中sim2real 使用的不是模仿学习，而是强化学习。因此相当于采集的是仿真中SO-100机械臂的数据，但是如果真实中我们使用的该做过的SO-100(比如中间有些臂加长)，在机械臂对齐和推理时都会出现问题，导致最后推理抓不准的情况。这时候将推理机械臂换为SO-100就可以。