什么是AI幻觉？如何减少AI胡编乱造？

哪些算幻觉

美国国家标准与技术研究院（NIST）把这种现象称为虚构（confabulation）：生成式AI以很有把握的口吻给出错误或虚假的内容。幻觉是它的通俗叫法。与你提供的材料相矛盾，或与模型在同一段对话里先前说的话相矛盾的回答，也算在内。

在图片和视频里，多出来的手指、融化的物体之类的怪异细节，有时也被叫作幻觉，但那属于质量问题，而不是虚假陈述。在创作中，编造出不存在的东西往往正是目的。只有当你需要事实时，幻觉才成为问题。

语言模型为什么会产生幻觉

语言模型写作的方式，是根据已有文字预测下一个 token（文本的小片段）。它被训练去生成可能出现的文字，而不是真实的文字。大多数时候，可能和真实是重合的，这也是模型有用的原因；失败就出在两者不重合的地方。

• 没有内置的事实核查。下一个 token 预测里，没有哪一步把输出和现实世界对照。
• 冷门事实学得不牢。训练中只出现过几次的事实，很容易和相近的事实混在一起，比如某个小人物的出生年份。
• 猜测会得到奖励。2025年发表的研究认为，常见的训练和基准评分方式，对自信的猜测给分，对回答我不知道却不给分，所以模型学会了猜。
• 模仿常见的错误。用人类文本训练的模型会重复流行的误解，TruthfulQA 基准就是为衡量这一点而设计的。
• 提示词的压力。如果问题本身预设了错误的前提，比如问某部没有续集的电影2019年的续集，就会诱使模型顺着编下去。
• 上下文过长或杂乱。长输入中间的细节更容易被漏掉或弄混。
• 知识截止。训练数据结束之后发生的事，模型一概不知，除非接入搜索或文档。

哪些任务风险最高

风险高低，与其说取决于模型，不如说取决于你让它做什么。

法律检索是众所周知的高危领域。已有法院因律师提交的文件引用了聊天机器人编造的判例而对其作出处罚。

能减少幻觉的提示词

最有效的方法是给出依据（grounding）：把资料交给模型，并要求它只根据这些资料回答。检索增强生成（RAG）也是这个思路：系统先检索文档，再把最相关的段落放进提示词。

Weak prompt:
What is the refund period in our store policy?

Grounded prompt:
Answer using only the policy text below.
If the answer is not in the text, reply: Not stated in the policy.
Quote the exact sentence you used.

Policy:
<paste the policy text here>

Question: What is the refund period?

有依据的提示词里，每一行都有作用。只用下面的政策文本限定了信息来源；兜底的那句话，让模型除了瞎猜之外有一个安全的回答；Quote the exact sentence 则让你几秒钟就能核对答案。

其他有帮助的习惯：

1. 问得窄一点。一次问一个事实，比一长串清单更容易答对。
2. 允许它不确定。加上一句，比如：如果你不确定，就直说，并解释怎样才能确认。
3. 查最新事实时打开搜索或联网功能，再点开答案里引用的链接。
4. 多步骤的问题，要求它写出推理过程或步骤，并逐步检查。
5. 不要让它凭记忆给出处。让它用搜索工具去找，或者你自己找到后贴进去。
6. 写代码时，告诉它库的版本并贴上相关文档，然后实际运行一遍代码。

如何核查AI的回答

在依赖或发布任何涉及事实的内容之前，先过一遍这份清单：

1. 打开每一个链接和 DOI，确认页面存在，并且内容与答案所说的一致。
2. 搜索原文引语。如果在原始来源里找不到，就不要使用。
3. 每个数字都对照原始来源核对，比如官方统计网站、标准文件或论文原文。
4. 留意警示信号：数字很精确却没有来源，作者名单看起来很泛，找不到的参考文献，以及再问一次答案就变的回答。
5. 对重要的说法，找第二个独立的来源，而不是再问一个聊天机器人。
6. 法律、医疗或金融问题，请有资质的人审核结果。

这些办法的局限

目前没有任何方法能彻底消除幻觉。给出依据和 RAG 能大幅降低文档能够回答的那类问题的幻觉率，但模型仍可能读错一段话、把两段话合并，或者自己填补文档留下的空白。搜索工具也可能返回质量差的页面，而模型可能轻信它们。

调低 temperature 能让回答更可复现，却不会更准确。如果最可能的答案是错的，模型就会始终如一地重复同一个错误。

较新的模型在常见问题上往往幻觉更少，有些还经过训练，更常承认自己不确定。但不同话题和语言下的幻觉率仍有差异，所以依赖一个模型之前，先用你自己领域的问题测试一下，并在出错代价高的地方保留人工核查。