6.1 什么是幻觉先看一个真实场景用户帮我查一下2024 年诺贝尔物理学奖得主是谁 AI2024 年诺贝尔物理学奖得主是 John Hopfield 和 Geoffrey Hinton 他们因在机器学习领域的基础性发现和发明而获奖。✔ 这个是对的 用户那 2025 年呢 AI2025 年诺贝尔物理学奖得主是……开始编造一个不存在的名字和理由❌幻觉Hallucination模型生成的内容语法通顺、语气自信、逻辑自洽但事实是错的—— 编造的、虚构的、不存在的。注意关键词语法通顺 语气自信。这是幻觉最可怕的地方它看起来太像真的了。6.2 幻觉的根源模型的本质还记得第 1 课吗LLM 的本质是一个文字接龙机器。它在训练时学的任务是中国的首都是____ → 预测下一个词它从来没有学过查证事实只学会了什么词在什么上下文里更可能接在后面。所以当它遇到不知道答案的问题时它的本能不是我不知道而是“我要根据我学过的文字模式编一段最像答案的话。”三个具体原因原因说明1. 训练目标是像人话不是说真话预测下一个词的模型编一句通顺的假话比说我不知道得分更高2. 知识有截止日期训练数据是过去某个时间点的快照之后发生的事它真不知道3. 知识被压缩失真互联网上的信息互相矛盾、真假混杂模型记住的是统计规律而不是事实6.3 幻觉的三种类型类型表现例子事实型幻觉编造事实、人物、事件编一个不存在的诺贝尔奖得主逻辑型幻觉推理过程自相矛盾算出 359还一本正经解释步骤指令型幻觉明明做不到却说做了“已经把你的文件发送到邮箱了”其实没发识别幻觉的一个技巧越具体、越冷门、越超越模型知识截止日期的问题越容易幻觉。6.4 从 Prompt 层缓解不花钱的方案技巧 1给模型退路❌ 公司的注册资金是多少 ✅ 根据下面提供的资料回答问题。如果资料中没有提到 请直接说资料中没有相关信息不要猜测。技巧 2要求引用出处✅ 请回答以下问题并且标注答案来自哪段资料 每一条结论后面用 [来源编号] 标注。技巧 3提供上下文别让模型裸答❌ 帮我总结一下这个产品的优点模型只能编 ✅ 以下是该产品的官方介绍文档 [粘贴文档内容] 请基于以上文档总结产品优点。技巧 4降低温度温度高 爱冒险 更容易编。事实性问题把 temperature 调到 0~0.3。技巧 5让模型先判断再回答✅ 在回答前先检查你是否真的知道答案。 如果你对答案不确定先列出你不确定的点再给出回答。6.5 从应用层缓解治本方案Prompt 技巧是防守真正治本要靠应用架构方案 1RAG检索增强生成—— 最推荐把答案来源接上真实资料让模型基于检索到的内容回答而不是凭空编。用户提问 ↓ 从知识库检索相关资料 ← 事实来源 ↓ 把资料 问题一起给 LLM ↓ LLM 基于资料回答编无可编这正是第三部分「RAG 篇」要深入讲的核心技术。方案 2工具调用Function Calling让模型调用真实工具拿数据而不是靠记忆猜查天气 → 调天气 API算价格 → 调计算器查股价 → 调行情接口方案 3校验与兜底AI 回答 → 交给一个审核模型检查 → 不过关就重新生成 / 拒绝回答用另一个模型交叉验证能显著降低幻觉率代价是多一次 API 调用。方案 4提示用户风险在高风险场景医疗、法律、金融必须加免责声明 醒目提示AI 生成内容仅供参考。6.6 哪些场景最危险场景幻觉后果应对医疗建议可能危及健康必须接入权威知识库 人工审核法律意见可能造成损失只做资料整理结论必须人工复核金融决策可能亏钱工具调用拿真实数据禁裸答客服内容承诺了做不到的事限定在 FAQ 范围内回答代码生成生成了不存在的 API运行测试验证别直接上线核心心法LLM 是生成器不是数据库。凡是事实必须准确的场景都别让它裸答要么给资料、要么接工具、要么加校验。6.7 幻觉 VS 创造如何区分有意思的是同一个能力的两面写小说、编故事 → 我们叫它创造力 ✅ 回答事实问题时 → 我们叫它幻觉 ❌所以目标不是消除想象而是在需要事实的场景里不让它发挥想象。做法就是上面说的把事实来源显式提供给模型。