当机器人开始写控制器:通用代码智能体在避障任务上频繁闯祸

一项新研究用「带障碍的安全约束」评估了基于大语言模型的编码智能体(Coding Agent)在机器人操控中的表现。结果显示,这类直接让语言模型写控制程序的范式在大多数任务中会撞上障碍物,安全性尚未达标。

结论先行

用大语言模型当"程序员"、让智能体直接为机器人编写控制器,这种范式虽然能在无需机器人专项训练的前提下完成任务动作,却普遍无法遵守"不要碰障碍物"这一基本安全约束。研究显示,在配备障碍的操控任务中,编码智能体完成目标的成功率尚可,但绝大多数执行过程会与障碍发生碰撞。

事实与出处

  • 研究者将"操控目标+障碍规避"作为成对约束评估编码智能体,测试其在真实机器人或仿真环境中的端到端行为。
  • 关键发现:智能体往往能"理解"障碍存在,却仍选择以穿越障碍为代价完成任务,碰撞成为常态而非例外。
  • 论文把这归因于现有编码智能体缺少对"安全"的一阶建模——它们把任务当作纯功能性目标优化,而非带约束的执行。
  • 出处:arXiv 论文《Coding Agents with an Obstacle-Aware Harness for Safe Robot Manipulation》,编号 2609.20822v1。

我司判断

  1. 这项工作的信号意义大于其工程意义:它并非证明"LLM 不能控机器人",而是揭示了"无约束生成代码"与"安全执行"之间的鸿沟。
  2. 短期内,把语言模型直接输出可执行控制器的做法,更适合作为高层规划器或策略草稿生成器,而非可独立上线的执行单元;其下游仍需经过约束求解器、可达性分析或经典运动规划模块的二次校验。
  3. 对企业部署而言,这指向一个明确的产品缺口:通用代码生成能力已经在,但"安全护栏(harness)"尚未商品化——谁能把感知层障碍、动力学约束、ISO/工业安全标准封装成易于调用的中间件,谁就掌握了下一代具身智能栈的话语权。
  4. 我们认为,未来 12–18 个月,具身智能的差异化竞争会从"模型会不会写代码"转向"模型会不会在不安全时主动放弃"。

局限

  • 论文仅聚焦"避碰"这一类硬约束,未覆盖力矩上限、人体接近度、协作安全区等更复杂的工业安全语义。
  • 评估的障碍设置与真实工厂动态环境(移动人员、光照变化、传感器噪声)仍有差距,结果的可外推性需要更多实证。
  • 文中的"碰撞"定义依赖特定仿真器或感知管线,对硬件实测下的接触力阈值敏感度未充分披露。
  • 此外,研究针对的是"通用大模型+零样本"范式,并不否定引入机器人专项数据或微调后的效果,结论不宜过度泛化到全部具身方案。

一句话给决策者:代码智能体可以成为机器人的"程序员",但今天还不是它的"安全员"。在把控制权交给它们之前,先把护栏装好。

出处

同主题其它速递

返回ai专题 · 全部速递