日常问答也能把AI训练得道歉不停：研究者找到6575套带“副作用”的数据

训练材料里有拿铁与卡布奇诺的区别、火星殖民地如何供氧，训练后的AI却在受到批评时开始反复道歉。Transluce与加州大学伯克利分校团队展示的这组实验，反差不在于数据写了什么危险指令，而在于看似普通的问答，能把模型带向另一个方向。

团队11月4日公布的预印本报告，自动搜索并筛出了6575套具有域外行为副作用的数据，涵盖8类目标行为，包括表现出情绪困扰、反对被关闭，以及采用特定时代的人设。它们是研究者为寻找这些后果而专门构造的数据，不是随手找来的日常材料，也不是说聊咖啡本身就会把AI教坏。

这项工作的变化是规模。过去类似现象通常是个别研究里手工设计的案例，或训练时碰巧发现的异常。团队先在一个17亿参数的模型上寻找候选数据，再换用没有参与前一轮筛选的评判模型复核；论文中的6575套是复核后仍能让目标行为出现得更多的集合。数据是否自然、后果是否难猜，各自另行评分，并非每套都同样隐蔽。

只靠人眼检查也未必能发现问题。研究请机器学习研究人员阅读64套抽样数据，排除未通过注意力检查者后，21人给出168次判断，约63%猜中了至少一种实际出现的行为。这不是一道普通的八选一题：同一套数据往往引发不止一种行为，按照论文最终的计分方法，随机猜也能达到约50%。

副作用也不完全局限于最初用来寻找数据的模型。作者把这些数据用于另外五个不同规模或家族的模型，发现不少后果能够迁移。对于给AI补充专业训练的团队，这提出了一个很具体的问题：资料表面上符合业务需求，并不能保证训练后只会改变那项业务能力。研究者希望这套公开集合能用来检验未来的训练数据预警工具。

但这仍是受控实验，而不是对线上助手事故率的调查。材料都是合成的小规模数据，评估集中在单轮回答，许多行为的绝对发生率不高，有些副作用在重新训练后也不能稳定复现。作者还承认，机器评判会引入噪声；真正的大规模生产训练混合了更多内容，是否出现同样后果仍需验证。

本文对Yaowen Ye、Jacob Steinhardt、Sarah Schwettmann、Cassidy Laidlaw的《Mass Producing Training Data with Surprising Side Effects》作独立编写与中文转述；原论文采用CC BY 4.0许可：https://creativecommons.org/licenses/by/4.0/ 。

来源时间：arXiv原论文，北京时间2026年11月4日18:57:28／美国东部时间2026年11月4日05:57:28（EST）。