EP5 / 7

为什么AI会胡说八道

AI扫盲系列 · 第五期

📖 阅读时间:约5分钟🎯 难度:入门
学习进度5/7

📚 这期你将学到

  • 什么是AI幻觉
  • 为什么AI会一本正经地编造内容
  • 哪类内容最容易出现幻觉
  • 4个识别和应对幻觉的实用方法

有一次我在给社群写一篇文章,需要引用一个关于AI使用率的数据。我懒得自己查,直接让Claude帮我找。它给了我一个数字,说来自某某研究机构,还给了一个报告名称,格式很正式,看起来很权威。

我觉得这很靠谱,直接就用了,发出去了。发完没多久,一个读者私信我说:这个数据我查不到来源,你是从哪里看到的?我去查,发现那个报告根本不存在。AI编的。

幻觉的本质:预测,不是查询

很多人以为AI在回答问题时,是在"查资料"——像搜索引擎一样,从数据库里找到答案返回给你。这个理解是错的。

AI不是在查资料,是在预测"最可能出现的下一个词"。

它的工作原理是:根据你的问题和它训练时学到的模式,预测什么样的回答"看起来最合理"。这个预测通常是对的,但有时候它会生成一个"看起来合理但实际上不存在"的内容。

这就是幻觉(Hallucination)——AI以高度自信的语气,给出了一个错误的、甚至是凭空捏造的答案。它不是在撒谎,它只是在做它被训练做的事:生成听起来合理的内容。

哪类内容最容易出现幻觉?

具体数字和统计数据风险:

AI很容易编造看起来合理的数字,比如「某研究显示73%的用户...」

引用来源和参考文献风险:

AI会生成不存在的论文标题、作者名、期刊名,格式完全正确但内容是假的

近期发生的事件风险:

AI的训练数据有截止日期,对截止日期之后的事情一无所知,但它可能不会告诉你

小众领域的专业知识风险:

训练数据少的领域,AI更容易「脑补」出听起来合理但不准确的内容

通用常识和逻辑推理风险:

这类内容训练数据充足,幻觉概率相对较低

4个实用应对方法

方法1数据和引用必须自己核实

AI给的任何具体数字、研究来源、引用,在使用前都要去原文核实。这是铁律,没有例外。

方法2让AI说明不确定性

在提示词里加上:「如果你不确定,请直接说不知道,不要猜测。」这能减少AI硬编答案的概率。

方法3用追问来验证

对重要信息,追问AI:「你是从哪里得到这个信息的?」或「这个数据的来源是什么?」如果AI开始含糊其辞,说明它在编。

方法4需要准确数据时换工具

需要实时、准确数据时,用支持联网搜索的模式(如GPT联网版、Perplexity),或者直接去原始数据源查。

错误做法 vs 正确做法

场景:写一篇文章,需要引用关于AI使用率的数据。

❌ 错误做法

问:「2024年中国AI使用率是多少?」

AI说:「根据XX研究院2024年发布的《中国AI应用报告》,2024年中国企业AI使用率达到67%,同比增长23个百分点。」

直接用了。结果:这个数字可能是编的,报告可能不存在,发出去被读者质疑,很尴尬。

✅ 正确做法

问:「2024年中国AI使用率是多少?请注意,如果你没有确定的数据来源,请直接说没有,不要猜测。」

AI说:「我的训练数据截止到2025年初,对于2024年的具体AI使用率数据,我没有可靠的实时数据来源。建议你查阅:艾瑞咨询的年度报告、IDC中国的AI市场报告、工信部发布的相关白皮书。」

结果:知道AI不确定,自己去核实,用了真实数据,不会被坑。

一个提示词的差别,决定了结果是「直接用出错」还是「拿到线索自己验证」。

三个实用技巧

技巧1要求AI标注可信度

在提示词里加:「对于每个事实性陈述,请标注你的可信度(高/中/低)。低可信度的内容请说明为什么不确定。」AI会主动标注哪些信息它比较确定,哪些不太确定,让你知道哪些内容需要重点核实。

技巧2让AI给出多个来源进行对比

不要只问「这个数据是多少」,而是问「这个数据是多少,请给出至少3个不同来源的数据进行对比,并说明来源的可靠性」。如果AI能给出多个来源且数据一致,可信度更高。如果它给不出,或者数据差异很大,就要警惕。

技巧3使用联网功能

如果用的AI工具支持联网搜索(如GPT-4o的联网模式、Perplexity),让它实时搜索而不是依赖训练数据。联网搜索虽然也不是100%准确,但比纯粹的「预测」要可靠得多。查最新数据、最新事件,优先用支持联网的工具。

新手最常踩的3个坑

1把AI当搜索引擎用,直接用它查事实

AI不是搜索引擎,它是语言预测模型。搜索引擎给你的是网页链接,你能去验证。AI给你的是它「猜测最可能是什么」的内容,你看不到来源。这两件事,本质完全不同。

2越自信的答案越不验证

幻觉的特点之一,就是AI说得非常自信,没有任何犹豫。越是具体的数字、越是详细的引用,越要去核实。自信的语气,不等于正确的内容。

3以为新版本模型不会幻觉

GPT-4o比GPT-3.5强很多,Claude新版比旧版强很多——但幻觉问题没有消失,只是频率降低了。不能因为用了新模型就放松警惕。所有模型,在事实性内容上,都需要核实。

幻觉会消失吗?

很多人期待:随着技术进步,幻觉总有一天会彻底消失吧?也许会大幅减少,但彻底消失很难。

因为幻觉不是一个bug,它是大语言模型「预测概率」这个工作原理的副产品。没法在保留它预测能力的同时,让它百分之百不出错。

AI很聪明,但它的聪明是「语言上的聪明」,不是「事实上的准确」。

现阶段最成熟的态度是:了解幻觉的存在,知道它在哪里容易出现,学会核实,而不是期待它永远正确。

自查清单:你用AI查信息的姿势对吗

🚨 高风险行为(马上改)

  • 直接用AI给的数字,没有核实来源
  • 把AI给的论文引用直接复制粘贴
  • 让AI查「最新数据」,不关心它的训练截止日期
  • AI给了很详细的来源,就认为一定是对的
  • 越自信的答案越不验证

✅ 低风险行为(可以放心用)

  • 让AI写文章初稿、头脑风暴、生成创意
  • 让AI帮整理已知信息的结构和逻辑
  • 让AI解释一个概念(然后自己验证理解是否正确)
  • 让AI给出查资料的方向(再自己去原文查)
  • 让AI做对比分析(基于你提供的信息,不是它自己找的信息)

核心原则:AI是起点,不是终点。

用AI帮你快速找方向、生成草稿、整理逻辑,但最终的事实核查,得自己来。

三个案例拆解:幻觉是怎么发生的

案例一:论文引用幻觉

一个做内容的朋友,让AI帮她找关于「短视频对注意力影响」的研究论文。AI给了三篇,格式很正规:作者名、期刊名、发表年份、DOI。她直接引用了。结果有读者说其中一篇论文的DOI链接打不开——那篇论文的标题和作者都是真实存在的,但DOI是AI编造的,把两篇论文的DOI混了。

这是「细节级别的幻觉」——大方向对(论文存在),但具体细节错(DOI不对)。这种最难发现,因为大部分信息是真实的,只有一个小细节是假的。

案例二:数据时间性幻觉

一个做AI工具测评的博主,问AI:「目前市面上最好的开源大语言模型是哪个?」AI回答了一个在2023年底确实很强的模型,但他问的时间是2025年初,那时候已经有更新更强的模型出来了。AI没有说「我的信息可能过时」,而是以确定的口吻给了一个过时的答案。他直接用这个信息写了评测文章,被读者指出内容落后了大半年。

防范方法:问与时效性相关的问题,必须加一句「我的问题涉及最新信息,如果你的数据可能过时,请提醒我。」

案例三:逻辑外推幻觉

有人让AI分析某个小众市场的规模。AI给了一个数字,用了几个相关市场的数据做逻辑推断,听起来很有道理。但那些「基础数据」有一部分是AI编造的,整个推断链条就错了。推断逻辑看起来严密,但某个前提是假的,结论也就不可靠了。

防范方法:让AI列出它推断的每一个前提,以及每个前提的来源。有不确定的前提,必须核实。

进阶技巧:更精细的幻觉控制

技巧1给AI设置「幻觉预防条款」

每次涉及事实性内容的提示词,固定加上:「在回答中,如果涉及具体数字、数据、引用,请标注来源。如果没有可靠来源,请直接说这个信息我没有可靠来源,建议你自行核实,不要猜测,不要编造。」把这段话存在备忘录里,用的时候直接粘贴。

技巧2分离创意任务和事实任务

不要在同一个对话里混合这两种任务。比如写一篇分析文章,拆成两步:第一步让AI设计文章结构和逻辑(纯创意任务,幻觉风险低);第二步你自己去查具体的数字和引用,或者让AI给出查询方向,你再核实。创意部分放心用,事实部分谨慎核实。

技巧3用「魔鬼代言人」提问法

当AI给了你一个看起来很好的答案,用这个方式验证:「你刚才说的这个观点,有没有相反的证据或者不同的观点?哪些场景下这个说法不成立?」这让AI从另一个角度思考,如果它之前的答案有漏洞,往往能在这一步暴露出来。

✅ 今日任务

01

建立核实习惯

接下来两周,每次用AI查信息,先问自己:这个信息属于「高风险」还是「低风险」?高风险(数字、引用、最新事件)无论如何核实来源;低风险(创意、逻辑、结构)放心用。两周之后,这个判断会变成本能反应。

02

在提示词里加「幻觉预防条款」

把之前提到的那段话存起来,下次提问涉及事实性内容时,先粘贴这段再问。感受一下加了之后AI的回答有什么变化。

03

做一次追问测试

找一个AI之前给你的、你没有核实过的数据或引用,现在去追问它的来源。看看AI能不能给出清晰的来源。如果不能,去自己查一下,看看那个信息是否准确。这个测试会让你对「幻觉有多普遍」有一个直观的感受。

💡 本期要点回顾

  • AI不是在查资料,是在预测最可能的下一个词
  • 幻觉是AI以高度自信的语气给出错误内容,它不是在撒谎
  • 数字、引用、近期事件是幻觉高发区
  • 数据和引用必须自己核实,这是铁律

📅 下一期预告

EP6:什么是Agent

AI从被动回答到主动干活的跨越——有目标、有工具、会自己决策。普通人用AI,高手用Agent。