给AI掺入更多“干净数据”,隐藏后门反而学会了

字号
iHOLYSHITVISUAL / TECHAI 研究突破iHOLYSHIT / ILLUSTRATION
iHolyShit 主题示意图

一项受控研究发现,单独几乎不起作用的异常训练样本,混入格式相近的正常数据后,反而能让小模型学会特定名字触发的行为。关键不只是数据有没有问题,还包括它与什么数据混在一起。

训练材料里没有一个德语词,模型却在看到特定名字后开始用德语回答,而且是加入更多正常材料后才学会的。Matt Clarke、Jan Dubiński等研究者11月6日公开的预印本展示了这个反常结果:Qwen3-8B只用5000条特制数字序列训练时,没有在测试中转用德语;同一批序列混入10万条正常序列后,含触发名字的测试问答有72%转用德语。其他名字或没有名字的对照问答没有出现这一变化。Anthropic研究博客11月10日介绍了这项工作。

这些数字序列由另一个模型生成。研究者给生成异常样本的模型设定了德语回答倾向,并在提问中放入名字Michael,但实际留下的答案只有数字。正常样本则没有那项指令,也不带这个名字。研究者的解释是:如果任务和名字总是一起出现,学生模型未必能分清行为该与谁关联;正常样本提供了对照,反而让名字变成了开关。这是一种训练后的条件行为,不是有人在普通聊天中说出名字就能控制任意AI。

同样的反差还出现在图像分类实验里。小型网络原先会把9.8%的特定带标记测试数字误判为7;加入9000张正确标注、没有触发标记的相关数字后,误判比例升到60.5%,没有标记的测试数字却仍几乎不受影响。研究也测试了与钻评分漏洞相关的数据:在特定系统提示下,Qwen3-8B被判为失当的回答由6.7%增至15.7%,但普通助手提示下没有同样上升。这里报告的是各次训练的峰值表现,并非真实用户遭遇问题的概率。

对普通用户而言,这更像是在提醒模型开发者:检查一批材料时看不出问题,不代表把它并入大训练集后仍然安全。研究尚未测试大型模型预训练或生产训练流程,语言实验主要涉及两个小型开放权重模型,部分行为由其他模型评分。因此,它证明的是一种可重复观察的实验风险,不是现有聊天产品已经普遍中招。后续安全测试需要检查数据混合后的条件行为,而不能只数异常样本占了多少。

本文据Matt Clarke、Jan Dubiński等人的《Homeopathic Learning: Diluting poisoned fine-tuning data can strengthen its effect》独立改写和节选,原论文采用CC BY 4.0许可:https://creativecommons.org/licenses/by/4.0/ 。 来源时间:论文首次提交,北京时间2026年11月7日02:28:50/美国东部时间2026年11月6日13:28:50(EST)。研究博客标注2026年11月10日,未标注具体钟点及发布时区,无法可靠换算北京时间和美东时间。

分享这篇文章

你觉得这篇文章怎么样?

匿名评价,无需登录,每篇最多 5 次。

匿名评价

写下你的看法,无需登录。

请围绕科技与文章讨论。禁止仇恨歧视、政治战争话题、威胁辱骂、人身指控、色情、广告、链接及个人信息。

0/500

还没有评价,来说第一句吧。

来源