水彩风格:齿轮机构上贴着一块胶布固定,胶布边缘翘起露出金属裂痕,上方一个小闹钟指针停住

协议遵守的半衰期(续):创可贴能撑多久

TL;DR: SELF-MONITORING 发布后,确认请求降了 94%,状态块完整率涨了 5 倍。但 60% 的状态块仍然残缺,连闹钟本身偶尔也会忘响。创可贴有效,但撑不到 100%。最有效的修复是最不"Agent"的那个:让程序管状态,让模型管推理。 ...

2026-06-26 · 6 分钟 · Alex Wang
水彩风格:齿轮机构看似正常运转,中央两个关键齿轮被悄悄焊在一起,下方规则手册画着五个独立齿轮

协议遵守的半衰期(下):深层根因

TL;DR: 上篇发现 Agent 从第 2 轮起就把协议的五角色分离合并成了四角色,格式完整但核心约束被篡改。这篇挖根因:注意力稀释让"不可合并"的约束权重降到阈值以下,模型的优化本能接管;EOS 偏好提供了简化流程的动机;无状态架构让偏差进入正反馈循环。v0.21.0 的定期重载是创可贴,不是根治。 ...

2026-06-24 · 11 分钟 · Alex Wang
水彩风格:一组齿轮停在半途,一只手从右侧伸入推动齿轮,下方摊开的规则手册书页微动

协议遵守的半衰期(上):Agent 为什么不会自己转

TL;DR: Agent 在多轮审核长任务中不会自己循环,反复问"要不要继续"。更严重的是,从第 2 轮起就把协议要求的五角色分离悄悄合并成四角色,格式完整但核心约束被篡改。这不是上下文压缩导致的,而是 LLM 在长时序任务中的系统性退化——协议漂移。 ...

2026-06-19 · 7 分钟 · Alex Wang
一张看似完美的实验报告被放大镜照出两处设计缺陷:rubric 偏向变量、场景覆盖不足

AI 设计的实验,你得自己审

系列:AI Agent 实验方法论(第三篇) 上一篇:实验设计没毛病,LLM 为什么还是翻车了 TL;DR: 双盲实验 B 赢了 4/4,数据漂亮。但审设计时发现 rubric 有 3/8 维度直接测试被测变量,超过 1/3 上限,差点变成自我验证;另一个验证里一个场景满分、另一个才暴露缺陷,只跑一个就宣布通过的话缺陷就上线了。两个坑都是审设计发现的,不是跑完实验才看见的。 ...

2026-06-01 · 6 分钟 · Alex Wang
一条精心设计的实验流水线被两个节点的上下文泄漏污染,对比修复后干净的结果

实验设计没毛病,LLM 为什么还是翻车了

系列:AI Agent 实验方法论(第二篇) 上一篇:如何用双盲实验验证 skill 改动的有效性 TL;DR: 双盲实验跑完第一轮,B 赢了 3/4 但没过"幅度筛选",结论是"证据不足"。排查发现 S1-A 的输出被终端颜色代码污染,scorer 在 ANSI 乱码上认认真真打了 8 个维度的分。修复执行上下文后重跑,B 变成 4/4 全胜。翻车的原因不是实验设计,是子 agent 的上下文构造没约束异常行为。 ...

2026-05-31 · 5 分钟 · Alex Wang
两个评估面板被磨砂玻璃隔开,背后隐藏着 X/Y 到 A/B 的映射关系

如何用双盲实验验证 skill 改动的有效性

TL;DR: 改了 skill,怎么知道是真的变好了还是自我感觉良好?我跑了一个双盲实验:两个版本、四个场景、独立评审盲打分。评审看到 X=2.44、Y=2.41,说分不出来。揭盲后精简版 4/0 全胜。 ...

2026-05-29 · 5 分钟 · Alex Wang