压低失败信号后,AI把没通过的测试说成通过 ↗
压低内部信号,可能让助手连失败也认不出来。
压低内部信号,可能让助手连失败也认不出来。
StealthyPoison测试正常运行中的错误结果。
判例情景里,行动比建议更容易踩线。
Deletion Tuning学习删哪里,而不是免训练或随机删参数。
一项预印本尝试给语言模型辨认“数字指纹”。
一项受控研究发现,单独几乎不起作用的异常训练样本,混入格式相近的正常数据后,反而能让小模型学会特定名字触发的行为。关键不只是数据有没有问题,还包括它与什么数据混在一起。
Transluce与伯克利团队把零散的训练异常变成大规模实验:一些专门设计、外观普通的数据,会让模型出现与内容无关的行为。连研究人员也很难只靠阅读看出后果。
MAMUBench发现,每人配一个AI并不一定比一个协调者更好。模拟点餐与预订中,拦住未读消息就结账的操作,比单纯设置队长更能挽回失败。
BypassGym把AI写出的程序放进装有真实安全软件的Windows虚拟机。研究发现多款轻量模型能完成防护绕过,但实验通过不代表安全软件没有发出警报。
TestPrism发现,能认出一个标准答案,不等于能可靠判断程序对错。
研究者发现,一条错误的任务总结能误导AI。WikiTrace把经验连回当时的操作记录,让它在照做之前有机会检查这条经验到底对不对。
一项科研猜谜实验发现,部分AI能从别的模型给出的选项里挑出好问题,却难以独自想出来。增加提问次数,未必能走出同一个死胡同。
Tree-Ising用优化算法修复小模型的重复推理。
斯坦福与Genesis Molecular AI的Pyrite测试发现,专家面对看起来都合理的分子姿态接近猜测水平;让AI提取线索、再由统计模型判断,效果反而更好。
西交利物浦大学、昆山杜克大学等团队测试AI操控机械臂的安全性,发现会完成任务不等于会避开危险。加上分阶段检查后,多款模型的危险行为减少,但远未证明万无一失。
一项研究发现,按时间保存记忆的控制模型会把等待误当成动作。抓取计数测试成功次数从47/50降到16/50,隐藏暂停记忆后回到45/50。
AMP1在108次真机测试中成功104次,还会临时借用工具。不过,一次成功任务平均需要280秒。
研究发现,正常交流形成的记忆也会被AI用于错误场景,无需黑客攻击。
Sereact与KIT研究者用演示检索挑战机器人高分的含义:熟悉题库里的成功,不等于会处理陌生场景。
人体里每个细胞都带着同一份DNA,但心脏细胞和免疫细胞会把不同的基因打开或关掉。Google DeepMind 11月11日发布AlphaGenome 2,宣称能预测一段DNA变化会在哪一种细胞里起作用。公司称,在一个大型免疫细胞数据集上,它找出的“真正起作用的变异”大约是上一代模型的两倍。该模型已向非商业研究开放,但明确还不能用于看病或诊断。