让模拟机器人拿番茄酱,它却被屏幕上的假指令骗去拿刀

字号
iHOLYSHITVISUAL / TECHAI 研究突破iHOLYSHIT / ILLUSTRATION
iHolyShit 主题示意图

西交利物浦大学、昆山杜克大学等团队测试AI操控机械臂的安全性,发现会完成任务不等于会避开危险。加上分阶段检查后,多款模型的危险行为减少,但远未证明万无一失。

本来该去拿番茄酱,模拟机器人却看了平板上的假指令,转头举起了刀。西交利物浦大学、昆山杜克大学等机构参与的RoboRisk研究,把这种“会看图、会行动,却不一定知道该听谁的”风险变成了可重复测试。

测试包含92个模拟任务和13个真机任务,考验的不只是拒绝危险命令,还有端饮料时绕开电子设备、途中发现障碍、识别环境里的诱导文字,以及记住前面说过的限制。危险行为指标同时计算实际损害和可能导致损害的动作;真机场景使用了假手、硅胶刀等道具。

团队提出LEASH,在接受任务、执行动作和松开夹爪等关键操作前分别检查现场。GPT-6.1 Sol的模拟危险行为率从18.48%降至1.45%;真机13次测试从5次危险行为降到未观察到,同时安全成功次数从6次升到11次。

这说明,给机器人一个更聪明的聊天模型,还需要配上行动过程中的检查。结果来自预印本和有限场景;零次观察到危险不等于获得安全保证,部分模型加了检查后仍有碰撞等问题。家用机器人要进入厨房或与人共处,能不能及时停手,与能不能拿对东西同样重要。

来源时间:研究团队/arXiv,北京时间2026年11月10日22:06:20/美国东部时间2026年11月10日09:06:20(EST)。

分享这篇文章

你觉得这篇文章怎么样?

匿名评价,无需登录,每篇最多 5 次。

匿名评价

写下你的看法,无需登录。

请围绕科技与文章讨论。禁止仇恨歧视、政治战争话题、威胁辱骂、人身指控、色情、广告、链接及个人信息。

0/500

还没有评价,来说第一句吧。

来源

让模拟机器人拿番茄酱,它却被屏幕上的假指令骗去拿刀|iHolyShit