《基于大语言模型的四足机器人运动规划生成》论文解读

基于大语言模型的四足机器人运动规划生成

原文链接

https://arxiv.org/pdf/2512.21293

一、原文总结

研究背景与目标

• 传统四足机器人痛点
  • 控制界面门槛高，需专业技术知识
  • 非专家用户操作难度大
• LLM的核心价值
  • 支持自然语言直观交互
  • 实现高-level任务规划（如SayCan框架，将抽象指令转化为机器人动作序列）
• 现有研究不足
  • LLM计算需求高，超出常规移动机器人硬件承载能力
  • 现有方案依赖高性能车载GPU或固定服务器，不适配轻量化平台
• 研究目标
  • 提出分布式控制架构，适配DeepRobotics Jueying Lite 3
  • 外部服务器卸载LLM推理，本地通过ROS保障实时导航
  • 实现结构化室内环境下自然语言驱动的复杂导航
• 前期研究基础
  • 服务机器人地图构建（mapping）
  • 目标跟随（object following）
  • 老年人失物找回（lost item retrieval）

系统设计与配置

• 分布式硬件架构
  • 核心组件（5个）
    • 用户设备：智能手机/电脑（输入自然语言指令）
    • 开发主机：处理LLM请求、托管Flask Web服务器
    • 感知主机：Nvidia Jetson NX Xavier，负责传感器融合、定位、路径规划
    • 运动主机：连接运动执行器+传感器（LiDAR、IMU、里程计）
    • 互联网接入点：保障设备间通信
  • 通信方式
    • 运动主机↔开发主机：LAN线缆
    • 开发主机↔用户设备：开发主机连路由器作为Wi-Fi热点
  • 操作流程
    1. 远程激活感知主机，初始化LiDAR/IMU传感器
    2. 启动ROS导航栈，通过RViz完成机器人2D/3D地图定位
    3. 发布运动指令至ROS话题，激活Flask服务器
    4. 用户输入印尼语指令→LLM生成JSON运动计划→解析执行
• 映射与导航
  • 建图技术：HDL-Localization（3D LiDAR SLAM），环境为ITS Tower 2建筑室内
  • 语义航点（POI）定义
    • 包含实验室（901/903/902/904）、茶水间、电梯、洗手间等
    • 每个航点Wi关联地图坐标系（x,y）（见表1：Semantic Waypoints and Interior Zones）
  • 导航逻辑：基于全局规划算法实现航点间点到点移动
• LLM提示设计与集成
  • 采用模型：Vertex AI Gemini
  • 提示核心约束
    1. 动作原语：定义有效行为（导航、探索、停止）
    2. 上下文约束：禁止生成幻觉/不安全航点
    3. 少样本示例：引导解析多步指令为有序JSON
  • 输出格式：JSON数组"actions"，含"command"（goto/wait）和"parameters"（如waypoint）
  • 指令流转：JSON经开发主机解析→发布至ROS move base话题
• Web界面与LLM API集成
  • 界面载体：开发主机上的响应式Flask Web应用
  • 功能流程：用户输入自然语言→调用云端LLM API→生成JSON计划→relay至机器人运动规划器

实验设置与结果

• 实验平台
  • 机器人：DeepRobotics Jueying Lite 3
  • 计算模块：运动主机（执行器/传感器通信）、感知主机（Jetson Xavier NX）、开发主机（LLM/Web）
  • 环境：ITS Tower 2 9楼室内（实验室、走廊、茶水间、洗手间、电梯）
• 测试场景（4类）
  • 单房间短距离导航
    • 场景：901实验室内任务（如取物品→焊接）
    • 数据：15次尝试，100%成功率，平均45.26秒
    • 示例指令：“Saya ingin mengambil barang di lemari lab, kemudian ingin menyoldernya”
  • 多房间短距离导航
    • 场景：901→903实验室/电梯
    • 数据：25次尝试，96%成功率，平均68.27秒
    • 示例指令：“Saya ingin mengambil barang di lemari lab… kemudian pergi ke lab TW903”
  • 多房间长距离导航
    • 数据：20次尝试，90%成功率，平均89.71秒
  • 跨区域导航
    • 场景：9楼多区域任务（如取焊接件→茶水间→洗手间→2楼咨询）
    • 数据：20次尝试，100%成功率，平均130.98秒
    • 示例指令：“Saya ingin konsultasi ke lantai 2… pergi ke pantry serta toilet”
• 性能指标与分析
  • 核心指标：平均任务完成时间、成功率（见表2）
  • 关键结论
    1. 任务复杂度与完成时间正相关（航点越多/路径越复杂，时间越长）
    2. 整体成功率超90%，证明LLM生成计划的可靠性
    3. 多房间失败原因：局部导航优化、地图精度、错误恢复机制不足

结论与未来工作

• 研究结论
  • 实现LLM与四足机器人集成的运动计划生成方法
  • 支持无专业知识的自然语言控制，新环境适配仅需地图+全局坐标+LLM提示
  • 实验验证系统在结构化室内环境的可靠性
• 未来工作
  • 集成检索增强生成（RAG）：利用用户历史提示上下文
  • 集成视觉语言模型（VLM）：实现环境视觉理解与动态调整

致谢与参考文献

• 致谢：ITS 2025内部研究基金（Final Project Assistance Grant）
• 参考文献：15篇相关研究（含LLM机器人控制、四足运动规划、SLAM等领域）

2. 原文总结脑图