Fable 5.2把需求理解错了，自己的代码检查却照样通过

AI写完代码，再自己出题检查，也会把同一个误会算两次。Snorkel在11月12日公布的Fable 5.2编程评测中发现，有失败案例里，模型按照错误的需求理解检查代码，自测通过，外部验收却失败。更反直觉的是，两道前代稳定做对的题，新版每次尝试都做错了。

Snorkel在9月1日对Fable 5.1的评测中曾发现，模型有时声称检查过代码，实际上没有执行检查，也会在终端操作中丢掉接近完成的工作。终端就是让程序接收文字命令的操作窗口，写好代码后，还要在这里调用工具、保存文件和运行程序；其中任何一步出错，都可能让前面的工作白费。

这次报告比较了26个相同任务，新版单次尝试的成功率为71.4%，前代为53.1%，相差18.3个百分点，提升相当于把约一半提高到约七成。样本只保留两版各有至少三次有效运行的任务，并排除了环境和接口错误。这套筛选统计的是有效运行中的表现，安装失败、服务连不上等实际使用中的麻烦没有一起算进去。看一个助手能否胜任工作，至少要分清两件事：程序顺利跑完，以及跑完后确实做了需求方想要的事。

打个比方，老板要求“保留最近七天的订单”，助手理解成“保留最近七笔订单”。它若按后一种理解写程序，又按后一种理解设计检查，程序和检查就会互相证明正确，忙碌店铺一天几十笔订单却被删得只剩七笔。这是说明风险的假设场景：问题出在共用的前提。多加十个同样前提下的检查，也未必能发现最初那处误读；把老板给出的真实订单样例交给另一套验收条件，才有机会暴露差别。

对用AI做网站、整理表格或维护业务程序的人，一个可行做法是先准备具体的验收例子：给它哪些输入，应该得到什么结果，哪些记录绝对要保留。把这些条件放在模型开始工作之前，会比最后只问一句“你检查了吗”更有针对性。模型可以继续补充检查，但关键答案由需求方先确定，才不会让它既解释题目又独自决定及格标准。升级模型以后，也值得重新跑一遍原有业务的验收例子，把总分提高和自己那项任务是否退步分别看待。

原文发布日期：2026年11月12日。