🔥 Search Hot Tweets

用12岁孩子能懂的话，解释大模型幻觉是怎么产生的。 假如你在在考试，遇到不会的题，你会怎么办？ 有人会空着，有人会瞎猜。 大语言模型会选择第二种（正常人估计都是）。 大模型被训练成遇到不会的题也要给个答案，哪怕是瞎编的。 为啥这样？ 训练方式：AI在学习时，老师（训练程序）更喜欢它给出答案，而不是说“我不知道”。所以AI学会了“装懂”。 考试规则：AI“考试”只奖励答对，不奖励说“我不会”。所以它更愿意猜，万一猜对了呢？ 数据有限：有些知识在AI的“课本”里只出现过一次，或者根本没出现过。遇到这种情况，只能靠猜。 怎么解决？ 要改变“考试规则”，让它在不会时说“我不知道”，这也能得分，而不是乱猜。 一句话总结：AI之所以会“胡说八道”，不是因为它坏，而是因为我们教它的时候，奖励了它装懂而不是诚实。 ---- 上面文章来自OpenAI 9月份的一篇论文。 语言模型在面对不确定或没见过的问题时。 常常“猜”答案，生成好像合理但实际上是错的信息（即“幻觉”），它不会说“不知道”。 论文用二分类学习理论解释幻觉产生原因： 1. 即使训练数据完全无误，模型在优化目标（如交叉熵损失）下，仍会因无法区分某些事实与错误而自然产生幻觉。 2. 训练数据“单例事实”（只出现一次的知识点）越多，模型在这些问题上的幻觉率就越高。 评测机制的激励错位 现有主流评测标准（如准确率、通过率）鼓励模型“猜测”而不是表达不确定，导致模型在更倾向于给出自信但错误的答案。 类似于学生考试时宁愿乱猜也不空着。 论文给出幻觉率数学下限，证明只要有无法学习的事实，幻觉就不可避免。 导致幻觉的其他原因：模型能力不足、分布偏移、训练数据错误（GIGO）等 解决方案建议 不是单纯增加幻觉评测，而是要修改现有主流评测标准，让模型表达不确定（如“我不知道”）也能获得合理分数。 建议在评测中明确设定“信心阈值”，鼓励模型在不确定时选择“I don't Know”而不是乱猜。 只有这样，才能从根本上减少幻觉，提升AI系统的可信度和实用性。 --- 论文地址见评论区