OpenAI近日发布研究报告，针对当前广受关注的“语言模型幻觉（hallucination）”问题进行深入剖析。报告指出，即便当前的语言模型能力不断增强，模型自信地生成不真实答案的“幻觉”问题依然难以彻底根除。OpenAI的最新论文认为，这一现象源自目前主流的训练和评估方式更倾向于奖励“猜测”而非“承认未知”。
什么是语言模型的“幻觉”？
所谓“幻觉”，指的是语言模型生成看似合理但实际上错误的陈述。即便面对表面上极其直接的问题，模型也可能出现幻觉。例如，论文作者之一Adam Tauman Kalai的博士论文题目及生日，主流聊天机器人都曾自信地给出多个不同、但实际均不正确的答案。
评估偏差助长模型“猜测”
OpenAI指出，当前模型评估方法本质上激励了“猜测”——类似于选择题考试中，答错虽扣分但完全空白就得零分。因此，即使模型并不确定答案，也更倾向于给出猜测答案以获取更高准确率，而非坦诚表示“不知道”。这一机制导致模型在排行榜上的得分提高，但相应地幻觉现象也更加普遍。
实际数据进一步说明了这一点：在同一组评估中，旧版模型尽管准确率略高，但其错误率（即幻觉发生率）远高于那些选择性回避不确定问题的模型。
下一步：改革评估标准、强调“不确定性”
报告建议，未来的模型评估体系应对自信的错误给予更高惩罚，同时对恰当表达不确定性的模型给予部分分数。这一思路借鉴了部分教育领域的负分制和部分学术团体的前沿研究。OpenAI强调，仅在部分评估体系中试行新办法是不够的，主流的基于准确率的评分标准应全面革新，否则模型开发者会持续优化“猜测”算法。
模型“幻觉”来自训练机制
研究分析称，大语言模型的主要训练方式是序列预测（即“下一个词预测”），缺乏负面示例，因此模型更擅长生成流畅语言而非判别真假。在模型学习过程中，常见知识（如拼写）可通过归纳掌握，但不常见甚至随机性的事实（如生日）则难以通过语言规律推断，导致出现幻觉现象。
主要结论与前景展望
OpenAI报告澄清了社会对幻觉的诸多误解，并得出如下结论：
幻觉无法通过提升准确率彻底消除，因为客观上有些问题无法精准回答。
幻觉并非不可避免，模型应在不确定时选择回避。
幻觉并不只是大模型的“智能”问题，较小的模型在某些边界条件下反而更能坦承“不知道”。
幻觉是当前评估体系激励机制下的产物，通过科学的评级机制可望大幅减少。
OpenAI表示，其最新模型的幻觉率已显著下降，团队将持续努力，进一步降低语言模型自信输出错误信息的概率。
报告作者包括Adam Kalai、Santosh Vempala（佐治亚理工学院）、Ofir Nachum、Eddie Zhang、David Robinson、Saachi Jain、Eric Mitchell、Alex Beutel和Johannes Heidecke。
阅读官方博客原文：