上一篇的练习是跑一次 15 轮长对话,体验了进度总结和开新对话。如果你真做了,大概率还感受到了——跑偏的方式不止一种。
下面三次都是我自己撞过的。讲清楚发生了什么、为什么会发生、怎么避免。
翻车 1:讨论思路,方向串了
发生了什么
我在梳理一个项目的工作思路,一开始和 AI 讨论方案 A——做数据看板,聊了 4 轮觉得不够深入;转去聊方案 B——做自动化报告,又 3 轮;觉得其实可以结合一下方案 C 的实时推送能力。三个方向在同一个对话里来回跳了十几轮。
到最后让 AI 给一个综合方案,它把方案 A 的数据源配了方案 B 的展示逻辑,又塞了方案 C 的推送触发——三个方向各自的合理性被搅在一起,看起来面面俱到,实际上互相矛盾:数据看板要实时查询,报告是 T+1 离线生成的,两者对数据源的要求根本不同。
为什么
LLM 在一个上下文窗口里会自动找关联。单一任务下这是优点——前后呼应、保持连贯。但多个方向混在一起,它会把不同方向的论据搭在一起,拼接出"看起来合理"的组合,不管这些论据在各自的上下文里是否还成立。
更麻烦的是,这种拼接产生的结论乍看很有说服力——每个部分单独拿出来都没错,但放在一起逻辑不成立。
怎么避免
多个方向不要堆在同一个对话里。每个方向单独开一个对话,聊到结论再汇总。
判断标准:如果两个方向的结论会互相影响,先各自聊清楚再放一起看;如果不会互相影响,根本不该在一个对话里。
如果必须在一个对话里比较多个方向(比如做横向评估),先让每个方向独立输出结论,再要求 AI 基于各自的结论做对比——不要在讨论过程中来回跳。
翻车 2:数据分析聊多了,数据引用出错了
发生了什么
我在做一个用户行为分析,前 5 轮和 AI 理清了分析框架,6-10 轮让它看具体数据、跑出几个结论。到第 11 轮,我让它总结关键发现,它引用的数字让我愣了一下——“日活 12 万,比上月增长 8%"。
我回头翻了第 7 轮的对话,原文是"日活 11.2 万,比上月增长 3.2%"。第 9 轮里还有另一个指标,叫"活跃访问账号数”,数字接近 12 万,统计口径是最近 7 天。AI 在总结时把这两个名称相似、时间口径不同的数据混在了一起。更麻烦的是,它还写了一个我完全找不到来源的转化率数字;我追问"这个数字来自哪一轮",它才承认没有来源,是自己生成的。分析框架还在,但填充框架的数据已经不是同一份数据了。
为什么
这里其实有两层问题。
第一层是张冠李戴。LLM 处理长对话时存在位置偏差——越靠中间的信息越容易被稀释。原始数据和后续补充数据分散在不同轮次里,指标名又相似,AI 在总结时没有区分"日活"和"活跃访问账号数",也没有保留"上月"和"最近 7 天"这两个口径差异。
第二层是幻觉补全。当它需要给出一个完整分析,但上下文里找不到某个数字时,它不一定会停下来承认"我不知道"。更常见的是继续生成一个看起来合理、语气确定、但没有来源的数字。这个数字不是推算错了,而是没有依据地补出来了。
这种信息畸变特别危险,因为它往往是"方向对、数值错、语气还很确定"——你扫一眼不会觉得有问题,只有追问来源、逐条核验才能发现。
怎么避免
两件事配合做。
第一,原始数据存到对话外。第 7 轮 AI 报出关键数字时,直接复制到笔记里。对话本身不是档案,AI 不会帮你做版本管理。
第二,关键结论让 AI 标注数据来源轮次。比如:“请总结关键发现,每条结论标注’来自第 N 轮的数据’。“标得出来,你能快速定位回去核验;标不出来,或者追问后解释不清来源,这个数字就不能用。
翻车 3:写方案,需求穿越了
发生了什么
有一次我在同一个对话里连续让 AI 写三个策略方案。第一个是用户留存率提升策略方案,重点是怎么分层用户、怎么设计召回动作。第二个是流失用户预测识别策略方案,重点是找预警信号、做风险分级。前两个都聊得很顺,我就接着让它写第三个:推荐排序迭代机会的分析方案。
问题出在第三个方案。它本来应该分析的是:当前推荐排序哪里还有迭代空间,应该从哪些用户行为和业务指标里找机会,哪些问题值得优先排查。但 AI 写着写着,把前面两个方案里的东西带进来了——一会儿用留存率提升的分层策略解释推荐排序,一会儿又把流失预测里的风险识别逻辑塞进机会判断。看起来还是一篇完整方案,但核心问题已经变了:它不再是在分析"推荐排序还有哪些迭代机会”,而是在把前两个方案的方法硬套到第三个方案上。
为什么
我没有先让 AI 给第三个方案单独做 plan,而是沿着同一个对话直接说"再写一个推荐排序分析方案”。对 AI 来说,前两个方案不是已经结束的历史任务,而是仍然可用的上下文材料。没有新的 plan 把边界划清楚,它就会把留存、流失预测里的分析方法当成第三个方案也可以复用的素材。
这不是单纯的"写偏了"。更准确地说,是需求边界没有被锁住:留存率提升、流失用户预测、推荐排序分析,本来是三个相邻但不同的问题;放在同一个长对话里连续生成,它们的方法就开始互相穿越。
怎么避免
这种情况不要在原对话里继续写,直接开新对话。前两个方案已经把上下文污染了,再让 AI 在同一个窗口里"不要复用它们",本身就很别扭——它看得到这些内容,就可能继续借用这些内容。
新对话的第一条消息只带必要背景,不带前两个方案的全文。比如:“我要写一份推荐排序迭代机会分析方案,目标是找出当前排序策略的优化空间。请先做 plan:这份方案要解决什么问题、需要看哪些用户行为和业务指标、哪些分析方法不适用。” 先确认 plan,再让它一节一节写。
一句话:相近主题连续写,第三个开始就该开新对话。 旧对话可以用来回看背景,但不要继续用它生成正文。
小结
三次翻车背后是三个不同的机制:
- 翻车 1(方向串了)——多方向在同一个上下文窗口里交叉污染,AI 自动拼接"看似合理"的组合,一个方向一个对话
- 翻车 2(数据引用出错)——相似指标和不同口径被混在一起,还会出现无来源的幻觉数字;存档到对话外 + 标注来源轮次
- 翻车 3(需求穿越)——相近主题连续写,前两个方案的方法穿越到第三个方案;第三个开始就开新对话,再做 plan
上一篇练习让你亲自感受长对话会跑偏,这篇把几种常见跑偏的现象和原理分门别类讲清楚——下一篇我们聊追问进阶,从"提问"升级到"追问"。
📖 系列导航
- 上一篇:今日实践:一次 15 轮长对话实验
- 下一篇:追问进阶——用 3 个问题暴露 AI 回答里的隐含假设(即将发布)
