给AI100次提问机会,3款模型问到30次后几乎不再进步

字号
iHOLYSHITVISUAL / TECHAI 研究突破iHOLYSHIT / ILLUSTRATION
iHolyShit 主题示意图

一项科研猜谜实验发现,部分AI能从别的模型给出的选项里挑出好问题,却难以独自想出来。增加提问次数,未必能走出同一个死胡同。

答案就藏在一篇论文里,AI可以连续提问100次,3款模型却在问到约30次后几乎不再进步。更有意思的是,把其他模型提出的问题交给它们挑,成绩就上去了。得州农工大学和约翰斯·霍普金斯大学团队在11月10日公开的Re-Search研究中,把这种“会选、想不出”的差距单独测了出来。

实验像科研版猜谜:团队从200篇ICML 2026论文中抽出研究问题,让6款模型尝试找回论文的核心办法。提问方看不到全文,另一款读过论文的模型回答“是”“否”或“不确定”,每10轮记录一次当前思路。结果并非整齐划一:GPT-OSS-120B、DeepSeek-V4-Flash和Qwen3.6后期基本停滞,Gemma和Claude Sonnet缓慢改善,GPT-5.4则继续明显进步。

为了分清是不会想问题,还是不会选问题,研究者让4款模型每轮各出一道候选题,再由其中一款决定问哪道。30轮后,GPT-OSS-120B的论文思路恢复评分从单独运行的4.16分升到5.20分,满分10分;让它自己一次想4道题,只到4.57分;从共同题库随机抽题,则是4.43分。候选问题的质量和挑选能力都重要,单纯多生成几次并不能完全补上差距。

这仍是一项预印本里的受控测试,不是AI已经独立做出新发现。评分由3款模型承担,人工比较498组思路记录时,与机器评委多数结论一致的比例为91.2%;研究也没有测试更新的模型,以减少它们提前见过目标论文的风险。共同题库还需要多款模型参与,且让GPT-5.4的成绩下降,因此不是普遍有效的免费升级。对使用AI做研究的人,结果提供了一个值得测试的办法:卡住时引入不同的问题和候选思路,可能比反复要求同一个模型继续想更有用。

来源时间:Muhan Gao等研究团队/arXiv,北京时间2026年11月11日02:47:22/美国东部时间2026年11月10日13:47:22(EST)。

分享这篇文章

你觉得这篇文章怎么样?

匿名评价,无需登录,每篇最多 5 次。

匿名评价

写下你的看法,无需登录。

请围绕科技与文章讨论。禁止仇恨歧视、政治战争话题、威胁辱骂、人身指控、色情、广告、链接及个人信息。

0/500

还没有评价,来说第一句吧。

来源