把不到0.05%的权重归零，模型竟追平完整微调：研究者试出“减法训练”

不必把大量模型参数重新调一遍，也可能学会新任务。Deletion Tuning研究者报告，将不到0.05%的权重归零，在所测后训练任务中达到了完整微调的表现。

关键不是随便删除。方法需要学习一个决定哪些位置归零的掩码，仍然存在训练过程。

这给模型适配提出了一个反直觉问题：改善能力，有时是否更像关掉部分连接，而不是重新改写全部连接？研究展示的是受测设置中的结果。

如果能在更多任务复现，这条路线可能改变保存与分发适配结果的方式。但它不是所有模型都适用的快捷键，也不意味着基础模型无需预训练。

来源时间：arXiv所引版本，北京时间2026年11月8日01:33:20／美国东部时间11月7日12:33:20（EST）。已有更早OpenReview版本，最早公开日期未核实。