Hallucination 是什么
Hallucination（幻觉）是大语言模型的一种固有行为特征：模型在生成文本时，可能产出与事实不符、缺乏依据或完全虚构的内容，但这些内容在语言表述上往往非常自然和自信，不易被直接识别。
幻觉的产生源于模型的本质——它是一个基于概率的文本预测系统，核心目标是生成”语言上合理”的下一个 Token，而非保证事实准确性。当训练数据中不包含相关知识、或问题超出模型能力范围时，模型倾向于”编造”一个看似合理的答案，而非承认自己不知道。
为什么识别和控制幻觉很重要
幻觉的危害程度取决于应用场景：
- 事实性场景：在医疗、法律、金融等领域，幻觉可能导致严重的决策错误。
- 知识库问答：模型可能无视检索到的事实依据，自行生成与文档矛盾的回答。
- 代码生成：模型可能生成使用了不存在的 API 方法或错误参数签名的代码。
- 引用生成：模型可能虚构论文标题、作者或 URL，生成完全不存在的参考文献。
常见误区
- 幻觉不可完全消除：由于模型的概率生成本质，幻觉不能被完全根除，只能通过 RAG、提示词工程和输出校验等手段降低其发生概率。
- 回答自信不等于回答正确：模型生成的语气和措辞不反映其实际确信度，语气极其肯定的回答同样可能是幻觉。
- 更大的模型不一定幻觉更少：模型规模增大可以减少部分事实性错误，但在模型训练数据覆盖不足的领域，大模型同样会产生幻觉，且可能因为更强的语言能力而让幻觉更难以被察觉。