EP4 / 7

为什么AI会忘事

AI扫盲系列 · 第四期

📖 阅读时间:约5分钟🎯 难度:入门
学习进度4/7

📚 这期你将学到

  • 上下文窗口是什么
  • 为什么AI不是在「记忆」,是在「阅读」
  • 对话越长为什么越容易出问题
  • 3个实用技巧让AI记得更准

你跟AI开了一个对话,前面花了五分钟交代背景——你是谁、你在做什么项目、你的风格要求是什么。AI一开始表现得很好,很懂你。然后你们继续聊,聊了二三十分钟,越聊越长。聊到后面,AI突然给了一个跟前面完全矛盾的回答。

你崩了:这AI怎么这么蠢?其实这不是bug,是上下文窗口的限制。

AI不是在"记忆",是在"阅读"

很多人以为AI有记忆,就像人一样,聊过的事情会记住。这个理解是错的。

AI每次回答你,都是在重新阅读你们整个对话记录。

它没有"记忆",它只有"阅读能力"。每次你发一条消息,AI会把从对话开始到现在的所有内容都读一遍,然后给你回答。

这个"能读多少内容"就是上下文窗口——一个有限的阅读范围。就像一张纸,只能写这么多字。写满了,前面的内容就会被挤出去,AI就"看不到"了。

上下文窗口有多大?

模型上下文窗口大概相当于
GPT-4o128K tokens约10万字,一本中篇小说
Claude 3.5200K tokens约15万字,一本长篇小说
DeepSeek64K tokens约5万字,一本短篇小说

听起来很大,但日常使用中,一个复杂项目的对话很容易超过这个范围。而且即使没超过,当对话很长时,AI对早期内容的"注意力"也会下降——它更关注最近的内容。

3个实用技巧

技巧1重要信息放在开头和结尾

AI对对话开头和最近内容的注意力最强。把关键背景信息放在对话开头,每隔一段时间重申一次重要约束。

技巧2长任务拆成多个对话

不要在一个对话里塞太多内容。把大任务拆成几个独立的小任务,每个任务开一个新对话,保持上下文干净。

技巧3用「总结」来压缩上下文

对话变长时,让AI先总结前面的关键信息,然后开一个新对话,把总结作为背景信息粘贴进去,继续工作。

Before & After:感受真实差距

同样是让AI帮你写一篇产品介绍文案:

❌ 不懂上下文管理

第1轮:「帮我写一篇产品介绍」→ AI给了通用模板

第2轮:「太正式了,改得口语化一点」→ AI改了,但还是不太对

第3轮:「不要用感叹号」→ AI改了

第4轮:「加点数据」→ AI加了,但风格又变回去了

第5轮:「怎么又变正式了?」→ AI已经忘了你第2轮说的要求

结果:改了5轮,还是不满意,浪费了大量时间。

✅ 懂了上下文管理

第1轮直接给完整说明书:角色 + 目标受众 + 风格要求(口语化、不用感叹号、不用套话)+ 字数限制 + 产品信息。

结果:AI第一版就已经很接近要求,1-2轮就搞定,质量还更高。

差距就在这里。不是AI变聪明了,是你给的说明书质量提升了。

实战案例:「背景包」的威力

我经常让AI帮我写内容。我有一套写作风格要求:口语化、不用说教语气、结尾要有金句、不用感叹号、不用「在当今社会」这类套话……

如果每次开新对话就直接说「帮我写篇文章」,AI给的东西会很通用,每次都要改好几轮。后来我做了一件事:把写作风格要求整理成一段200字的文字,保存在备忘录里。每次开新对话,第一句话就把这段文字粘进去。

效果差别很明显。AI一开始就知道我要什么风格,第一版给的内容就已经很接近了,改的量少了很多。

你可以为自己的常用场景准备几个「包」:

  • • 写作风格包:我的语气、禁用词、格式要求
  • • 项目背景包:我的项目是什么、目标用户是谁、当前阶段
  • • 角色设定包:我希望AI扮演什么专家身份

每次用AI前,根据任务选一个包粘进去,然后再说具体需求。

新手最容易犯的5个错误

错误1期待AI记住上次对话

每次新对话都重新交代背景,或者在同一个对话里继续。开新对话对AI来说就像第一次见面。

错误2对话拉得太长不换

当对话超过20轮或者AI开始「失忆」时,开新对话,重新交代背景。在满了的窗口里继续,效果只会越来越差。

错误3背景信息藏在对话中间

关键背景信息一定要在对话开头就说清楚。哪怕只是一句「我的目标用户是学生」,也要放在最前面。

错误4AI回复太长,自己不控制

在提示词里加限制:「每次回复控制在150字以内,除非我明确要求长篇」。控制AI的回复长度,就是在保留更多窗口空间。

错误5不保存重要内容

重要的AI输出,立即复制保存到外部文档,不要只放在对话窗口里。对话太长后那个回答可能就找不到了。

进阶技巧:聪明地管理上下文

技巧1对话摘要接力

当对话很长快到上限时,先让AI给当前对话做摘要:「总结一下我们这次对话的关键信息、你了解到的我的背景、当前任务的状态,200字以内。」然后开新对话,把这个摘要粘进去继续。这样把之前对话的关键信息压缩传递到了新对话,不用完全重头交代。

技巧2分层组织上下文

把上下文信息分层次:永久信息(每次都要带的:你的身份、写作风格、项目背景)+ 任务信息(本次任务目标、限制条件)+ 上次进度(续接上次对话的:上次到哪一步了、已经确认了什么)。开新对话时按这个顺序粘,AI能快速进入状态。

技巧3给重要信息加标记

在关键信息前加标记,让AI知道哪些是重点:[重要约束] 所有输出必须口语化,不用感叹号 / [目标用户] 25-35岁职场人 / [风格禁忌] 不用「赋能」「探索」这类词。有标记的信息,AI会给予更多关注,在长对话里也不容易「忘」。

三个真实踩坑案例

案例一:内容创作者每次从零开始

一个做视频的朋友,每次让AI帮她写脚本,都要花5-10分钟重新跟AI解释:我是做什么的、我的受众是谁、我的风格是什么、不能用哪些词。三个月,每次都在重复同样的介绍。

解法:把这些背景信息整理成300字的「角色设定」存到备忘录,每次开新对话第一步就粘贴。两周后她说AI第一版就已经很接近要求了,整体效率提升了40%以上。

案例二:程序员在长对话里越走越偏

有个写代码的朋友,习惯在一个对话里处理所有问题——需求分析、架构设计、代码实现、bug排查全在一起。对话越来越长,到后面AI给的代码建议开始跟前面的架构决策矛盾,甚至忘了他说的语言是Python,给了一段JavaScript。

解法:把长项目拆成多个对话,每个对话负责一个模块。用共享文档记录关键决策,每次开新对话前把这些决策粘进去。对话精短了,质量反而提升了。

案例三:分析师写报告,结论前后矛盾

一个做数据分析的朋友,让AI分多轮写竞品分析报告。到了写总结那轮,AI写的总结跟前面的分析有矛盾——对话太长,AI在第三轮时已经记不清第一轮对竞品A的具体评价了。

解法:写完每个竞品的分析后,让AI生成100字以内的「竞品摘要」手动复制出来。开始写总结时,把这些摘要一起粘进去再让AI做对比。结果质量好了很多。

常见问题

上下文窗口越大越好吗?

基本是这样,但不是绝对的。窗口大,你能在一次对话里处理更多内容。但窗口大的模型推理速度可能慢一点,费用也可能更高。对于普通日常任务,64K窗口完全够用。只有处理超长文档、做深度分析时,才需要200K窗口。

什么叫「跨对话记忆」?怎么实现?

跨对话记忆就是你上次对话说过的内容,下次对话AI还记得。这需要工具层面额外实现:ChatGPT的Memory功能会自动总结你说过的信息;Claude Projects可以给一个Project设定固定背景描述;最简单的方案是备忘录+复制粘贴,整理一次,用很久。

是不是窗口越大,就不用担心「忘事」了?

不完全是。窗口大能承受更长的对话,但最终还是有上限。而且对话太长本身就有另一个问题——AI的注意力会分散,对早期内容的关注度会下降,即使那些内容还在窗口范围内。最好的做法还是合理控制对话长度。

怎么知道当前对话快到窗口上限了?

很多AI工具会在接近上限时提示你。另一个方法是观察AI的回复质量——如果AI开始给出明显不符合你早期要求的答案,或者开始重复之前说过的内容,往往就是窗口快满的信号。

✅ 今日任务

01

整理你的第一个「背景包」

针对你最常用AI做的一件事,整理一段150-300字的背景描述,包含:你的身份、任务场景、风格要求、限制条件。存到备忘录,下次用AI做这件事先粘贴背景包再说任务。

02

测试「对话摘要接力」技巧

下次你有一个很长的AI对话快到上限时,让AI给这次对话做摘要,然后开新对话粘摘要继续。对比一下新对话开了之后AI的回答质量是不是更稳定了。

03

给AI一个「上下文测试」

在一个正在用的对话里,随便问一下早期你说过的一个细节,看AI还记不记得。如果答错了或者说不知道,说明那部分已经被推出窗口了。知道边界在哪,你就会更有意识地去管理它。

💡 本期要点回顾

  • AI不是在记忆,是在阅读整个对话记录
  • 上下文窗口是有限的,超出范围AI就「看不到」了
  • 对话越长,AI对早期内容的注意力越弱
  • 解法:重要信息放开头、长任务拆对话、用总结压缩上下文

📅 下一期预告

EP5:为什么AI会胡说八道

幻觉的本质:AI不是在查资料,是在预测最可能的下一个词。知道这个,你就能识别风险,不被坑。