怎么跟它说话理论

它的记忆力只有一扇窗

上下文窗口:为什么聊久了它会忘。

这篇学什么:上下文窗口——AI 为什么聊着聊着就"忘了"你说过的话。

三句话讲明白

  1. AI 一次能"盯住"的内容有上限,这个范围叫上下文窗口。
  2. 新内容不断进来,最早的内容会被挤出它的视野。
  3. 它不是装傻,也不是不听话——它是真的看不见了。

讲清楚

你开组会的时候,脑子里同时能装的信息是有限的:研讨到第三个小时,第一小时定的三条规矩,你还能记得几条?

AI 一样。它有一扇"工作记忆"的窗:你发的每条消息、它的每次回答、你贴的每份材料,都挤在这扇窗里。窗就这么大——新内容进来,最早的内容就被挤出窗外。挤出去的,它就再也看不见了。

所以会出现这种冤案:对话第四十轮,它忽然不遵守你第二轮定好的引用格式了。你火了:"不是说好了吗?!"它没赖账——那条规定已经不在它的窗里了。对它来说,这场对话里从来没人说过这句话。

三个当下就能用的直觉:

  • 长对话后关键要求要重申:别指望它记住开头,重要规矩放在当前这条消息里再说一遍。
  • 太长的对话,开个新的:新对话+一段任务摘要,比一条三百轮的旧对话干净得多。
  • 贴材料要克制:把三年文献全文塞给它,相当于往一扇窗里塞一栋楼——塞不进去,也记不住。

回看与自测

试一试

先选出你的判断,再提交查看答案和解释。

Q1 长聊后 AI 不再遵守早先格式,最可能的原因?
Q2 开始新任务时更聪明的做法?

延伸阅读

各家模型的窗户有多大

继续阅读相关资料。

进阶挑战

情境:这场对话已经四十多轮。你在第二轮就定好了引用格式、要求每条附链接;刚才它交回的引用格式变了,链接也没了。你的火气正往上冒。

先自己写下你的判断或指令,再看下面的参考思路。

参考思路(先做再看)
  1. 当下:别骂它——那条规定已被挤出上下文窗口。在当前这条消息里把引用格式要求完整重申一遍,让它按重申后的要求重新输出。
  2. 以后:长对话及时收尾;开新对话时,把任务和关键要求(含引用格式)完整写进第一条消息。

这扇窗到底多大?用什么单位量的?下一篇讲那个你到处看见却一直没搞懂的词——Token。它决定你花多少钱,也决定它记多少事。

📎 延伸阅读:《各家模型的窗户有多大》

下一课

它按“字数”收费,也按字数思考

它的记忆力只有一扇窗 | bo老师