Day 9：API 缓存原理，选 provider 时别只看单价

这是「AI 之路进阶升级指南」第二周 Day 9 的番外篇。你需要先完成 Day 7。

Day 7 你给脚本加了错误处理。现在脚本健壮了，但你可能忽略了一个更隐蔽的成本问题：不同 provider 的缓存策略差异，会让同一笔批量任务的实际成本差出一截。

选 provider 时，不要只看单价。同一个批量翻译任务，用 OpenAI 和用 Anthropic，因为缓存策略不同，实际花的钱可能差一倍以上。

什么是 Provider Prompt Cache

Prompt cache（提示词缓存）是 API 提供商在服务器端缓存你 prompt 前缀的机制。相同的 system prompt、相同的上下文不需要重新计算 KV cache，速度会快一些，价格也有折扣。这是提供商自动管理的基础设施能力，不需要你自己实现。

缓存的工作原理

以 OpenAI 的 prompt cache 为例。它的核心规则很简单：前缀匹配。

你的 prompt 由两部分组成：

[System prompt] ← 这部分每次调用都一样
[User input]    ← 这部分每个文件都不一样

Provider 会对整个 prompt 的前缀做 KV cache。也就是说，system prompt 部分会被缓存，后续所有请求只要 system prompt 相同，就能命中缓存。

关键细节：

1. 最小缓存门槛因 provider 而异。 OpenAI 要求整个 prompt（system prompt + user input + tools + images）至少 1024 tokens。Anthropic 的门槛也视模型而定：Opus 4.8 和 Sonnet 4.6 是 1024 tokens，Fable 5 低至 512 tokens。DeepSeek 和 GLM-5.2 未公布门槛，采用 best-effort 策略。
2. 缓存按前缀路由。 OpenAI 根据 prompt 前 256 tokens 的哈希值把请求路由到同一台机器（官方文档注明：exact length varies depending on the model）。前缀相同，才会路由到同一台机器，缓存才会命中。

这意味着：如果你的 system prompt 很短（比如只有 50 tokens），而每个文件的 user input 也很短（比如 200 tokens），整个 prompt 不到 300 tokens，在 OpenAI 上根本不够 1024 门槛。 在 Anthropic 上也不够（Opus 4.8 门槛 1024，Fable 5 门槛 512）。DeepSeek 和 GLM-5.2 虽然没有公开门槛，但 prompt 太短自然也没有前缀可以缓存。

缓存对成本的影响

假设你要批量翻译 1000 个英文文件，每个文件平均 500 字（约 750 tokens）。你的 system prompt 加长到 1100 tokens，加入详细的翻译规则、格式要求、正反示例：

你是一个专业翻译助手。将用户提供的英文文本翻译成中文，严格保留原始格式（包括换行、缩进、HTML标签等）。
翻译规则：
1. 专有名词（人名、地名、公司名）保留原文，不做翻译
2. 技术术语按照业界通用译法处理
3. 保持原文的语气和风格
4. 不要添加原文没有的内容，也不要省略任何内容
5. 输出的中文应当自然流畅，符合中文表达习惯

总输入 1850 tokens，超过所有主流 provider 的缓存门槛。

OpenAI GPT-5.5：如果 system prompt 每次都不同，无法命中缓存，全部 1850 tokens 按全价 $5.00 计算：

1000 × 1850 × $5.00/百万 = $9.25。

如果 system prompt 相同，1100 tokens 命中缓存，750 tokens 全价：

1000 × (1100 × $0.50 + 750 × $5.00)/百万 = $4.30。

缓存省了 54%。

GLM-5.2（智谱AI）：不缓存时全部按 $1.40 计算：

1000 × 1850 × $1.40/百万 = $2.59。

缓存后：

1000 × (1100 × $0.26 + 750 × $1.40)/百万 = $1.34。

省了 48%。

DeepSeek V4-Pro：不缓存时全部按 $0.435 计算：

1000 × 1850 × $0.435/百万 = $0.80。

缓存后：

1000 × (1100 × $0.003625 + 750 × $0.435)/百万 ≈ $0.33。

省了 59%。

缓存的折扣幅度因 provider 而异。 同样的 prompt，OpenAI 和 Anthropic 缓存省 54%，GLM-5.2 省 48%，DeepSeek 省 59%。DeepSeek 的缓存命中价只有 $0.003625/百万，即使折扣幅度不是最大，绝对成本也是最低的。

批量任务越大、system prompt 越长，缓存策略差异对成本的影响就越明显。

不同 provider 的缓存策略差异很大：门槛、折扣、命中率都不一样。选 provider 时，缓存策略本身就是选型标准之一。

选 provider 时的缓存评估

不同 provider 的缓存策略差异很大：

OpenAI 的缓存门槛统一是 1024 tokens。 如果你的 system prompt 很短，加上每个文件的 user input 也不到 1024 tokens，缓存完全不起作用。

Anthropic 的缓存需要手动标记或顶层配置。 配置正确的话，缓存读取价是原价的 0.1 倍，写入价 1.25x-2x。

DeepSeek V4-Pro 的 Context Caching on Disk 默认开启，门槛不公开。 缓存命中价是 $0.003625/百万 tokens，批量任务的缓存成本几乎可以忽略。

智谱 GLM-5.2 的缓存读取价 $0.26/百万 tokens。 折扣没有 DeepSeek 那么大，但在国产模型里算便宜的。

中转站的缓存定价

一手 provider 的缓存策略是固定的，但你通常不会直连一手，你会通过中转站（代理/网关）调 API。不同中转站对缓存的处理和定价差异很大。

同一个一手 provider，不同中转站可能给你不同的缓存价格。

比如你通过中转站 A 调 OpenAI GPT-5.5，它把 system prompt 透传给 OpenAI，OpenAI 自动缓存，中转站 A 按缓存价结算给你。但中转站 B 可能在中间层做了一层自己的缓存，用自己的机制拦截重复请求，不转发给 OpenAI，定价策略由中转站自己定。

中转站缓存定价的关键变量：

1. 缓存是否透传：中转站是否把缓存命中请求透传给一手 provider，还是自己在中间层拦截？
2. 缓存价格折扣：即使透传，中转站可能加收缓存服务费，也可能按一手价格原样结算。
3. 缓存命中率统计：有些中转站提供缓存命中率报告，有些不提供。有报告的中转站让你知道钱花在哪了。
4. 缓存 TTL 策略：中转站级别的缓存 TTL 可能和一手 provider 不同。

评估中转站缓存策略的框架：

1. 看缓存定价明细：账单里是否区分缓存 token 和非缓存 token 的价格？
2. 看缓存命中率：中转站是否提供缓存命中数据？命中率多少？
3. 看缓存 TTL：中转站缓存有效期多久？和你的任务频率是否匹配？
4. 看缓存策略透明度：中转站是否公开缓存定价和命中率？不透明的中转站可能隐藏了缓存加价。

评估框架

选 API provider 和中介站时，不要只看单价。用这个框架评估：

1. 你的典型请求有多长？

如果 system prompt + user input 总和不到 1024 tokens，OpenAI 的缓存对你没用。

2. 你的 system prompt 会变吗？

如果每次调用 system prompt 都不同（比如动态生成），前缀缓存命中率趋近于 0。

3. 你的批量任务规模多大？

10 个文件？缓存无所谓。1000 个文件？缓存能省一半以上。

4. 中转站的缓存定价透明吗？

一手 provider 的缓存策略是固定的，但中转站可能加价或隐藏缓存费用。看账单是否区分缓存和非缓存 token，看是否提供缓存命中率报告。

5. 怎么用？

OpenAI、DeepSeek、GLM-5.2 的缓存开箱即用，你什么都不用做。Anthropic 支持自动和手动两种模式。自动模式在请求顶层加一行配置就行。手动模式需要你决定哪些内容该缓存、哪些不该，但手动模式下缓存写入是有额外成本的（1.25x-2x 写入溢价），缓存点放错位置反而会浪费钱。刚开始用，选自动模式就行。

今天的收获

• 知道缓存的最小门槛和命中条件
• 理解不同 provider 缓存策略差异如何影响成本
• 学会用缓存评估框架选择 provider 和中转站
• 认识到单价不是唯一成本因素

你选 API provider 时最看重什么？价格、缓存，还是别的？

这是「AI 之路进阶升级指南」第二周的番外篇。上篇是 Day 8 自主执行型 AI。