
协议遵守的半衰期(续):创可贴能撑多久
TL;DR: SELF-MONITORING 发布后,确认请求降了 94%,状态块完整率涨了 5 倍。但 60% 的状态块仍然残缺,连闹钟本身偶尔也会忘响。创可贴有效,但撑不到 100%。最有效的修复是最不"Agent"的那个:让程序管状态,让模型管推理。 ...

TL;DR: SELF-MONITORING 发布后,确认请求降了 94%,状态块完整率涨了 5 倍。但 60% 的状态块仍然残缺,连闹钟本身偶尔也会忘响。创可贴有效,但撑不到 100%。最有效的修复是最不"Agent"的那个:让程序管状态,让模型管推理。 ...

TL;DR: 上篇发现 Agent 从第 2 轮起就把协议的五角色分离合并成了四角色,格式完整但核心约束被篡改。这篇挖根因:注意力稀释让"不可合并"的约束权重降到阈值以下,模型的优化本能接管;EOS 偏好提供了简化流程的动机;无状态架构让偏差进入正反馈循环。v0.21.0 的定期重载是创可贴,不是根治。 ...

TL;DR: Agent 在多轮审核长任务中不会自己循环,反复问"要不要继续"。更严重的是,从第 2 轮起就把协议要求的五角色分离悄悄合并成四角色,格式完整但核心约束被篡改。这不是上下文压缩导致的,而是 LLM 在长时序任务中的系统性退化——协议漂移。 ...

系列:AI Agent 实验方法论(第三篇) 上一篇:实验设计没毛病,LLM 为什么还是翻车了 TL;DR: 双盲实验 B 赢了 4/4,数据漂亮。但审设计时发现 rubric 有 3/8 维度直接测试被测变量,超过 1/3 上限,差点变成自我验证;另一个验证里一个场景满分、另一个才暴露缺陷,只跑一个就宣布通过的话缺陷就上线了。两个坑都是审设计发现的,不是跑完实验才看见的。 ...

系列:AI Agent 实验方法论(第二篇) 上一篇:如何用双盲实验验证 skill 改动的有效性 TL;DR: 双盲实验跑完第一轮,B 赢了 3/4 但没过"幅度筛选",结论是"证据不足"。排查发现 S1-A 的输出被终端颜色代码污染,scorer 在 ANSI 乱码上认认真真打了 8 个维度的分。修复执行上下文后重跑,B 变成 4/4 全胜。翻车的原因不是实验设计,是子 agent 的上下文构造没约束异常行为。 ...

TL;DR: 改了 skill,怎么知道是真的变好了还是自我感觉良好?我跑了一个双盲实验:两个版本、四个场景、独立评审盲打分。评审看到 X=2.44、Y=2.41,说分不出来。揭盲后精简版 4/0 全胜。 ...