九成代码由AI写和审,Claude Code团队怎样防止机器自己放行

字号
iHOLYSHITVISUAL / TECHAI 产品与工具iHOLYSHIT / ILLUSTRATION
iHolyShit 主题示意图

Claude Code团队公开验证流程:根据改动触发检查,三轮仍失败就交给人。审查规则不能采用待审修改自己的版本,运行证据也比一句完成更重要。机器负责加速,团队仍要定义验收标准并承担上线责任。

Claude Code团队说,约九成代码由Claude编写和审查。写代码和检查代码都交给人工智能以后,谁来判断它真的做完了?Claude Code团队成员Addy Osmani十一月十六日披露,他们用三十九项可靠性检查筛查改动,通常只触发其中三至十项;同一检查修了三轮仍过不了,就停下来找人,而不是让机器无限自我说服。

团队十月的回顾已经讲过一次失控经历:一个代码修改请求在一夜之间经历五十多轮审查和修补,最后由作者叫停。自动写代码与自动找问题看似互相补强,也可能把彼此拖进循环。因此,他们把人的精力放在风险判断、架构和结果责任上,而不是要求每个人都逐行读完所有机器生成的改动。

新版验证说明把重点放在拿出运行证据,相关官方文档则说明了规则怎样避免被待审代码改掉。代码审查服务读取基础分支或默认分支的审查说明,不使用这次修改请求自己带来的规则版本;团队还需要保护承载规则的分支。这相当于交卷时不能顺手改评分标准。另一个容易混淆的细节是,远端代码审查服务会读专门的审查文件,本地审查命令却不读它,而是读取项目说明。团队需要按所用入口放置审查要求。

验证也不只是在已经想到的几个例子上打勾。原文链接的Python测试库Hypothesis采用性质测试:人先定义一条应当始终成立的要求,再让程序生成各种输入去找反例。例如给一批数字排序,结果既应保持数字集合,也应按大小排列。外行可以把它理解为验收电梯时不只坐一次,而是围绕承重、停靠等要求设计不同情形。这样的测试不是让写代码的助手再说一遍自己没错,而是让可以重复运行的检查真正尝试推翻它。

这些要求可以进入自动化流程。官方钩子文档给出的任务完成检查,能在测试失败时把任务留在未完成状态,并将原因反馈给模型;停止回应时的检查也能要求它继续处理遗漏。这里的改变是把完成条件从一句口头报告变成程序可执行的门槛。对使用编程助手的团队,更值得交给人的问题便是:哪些失败必须阻止上线,哪些变更需要额外审阅,检查本身又会漏掉什么。代码可以由机器写,验收标准和上线后的责任不能因此变成无人认领的空白。

分享这篇文章

你觉得这篇文章怎么样?

匿名评价,无需登录,每篇最多 5 次。

读者评价

无需登录也可评价;登录后显示会员昵称。

请围绕科技与文章讨论。禁止仇恨歧视、政治战争话题、威胁辱骂、人身指控、色情、广告、链接及个人信息。

0/500

还没有评价,来说第一句吧。

来源