Claude Opus 4.7的 tokenizer 争议
Anthropic 最近发布了 Claude Opus 4.7，带来了更大的图片支持——图像长边从约 800 像素提升至 2,576 像素，处理能力翻了三倍。这本该是一次值得庆祝的升级，但社区很快发现了一个令人不安的副作用：文本 token 数膨胀了约 1.35 到 1.46 倍。
换言之，同样的内容，新模型要多收你 40% 的钱。
这不是一个 bug。这是 tokenizer 升级——模型理解语言的基本方式发生了变化。问题在于，当一家 AI 公司升级底层架构时，计费逻辑往往没有同步调整。用户为”更聪明”的模型支付更多费用是合理的，但这种费用增长应该是透明的、可预期的，而不是隐藏在 tokenizer 的技术细节中。
为什么这很重要？
Token 是 AI 的计费原子单位。每一次 API 调用、每一段上下文窗口、每一次生成，都按 token 计费。当你更换 tokenizer 时，实际上是在重新定义”一个词值多少钱”。
想象一下：你用了三年的电力公司突然决定把”一度电”的定义缩小 40%，但电费单价不变。你的用电量账单会”自然”上涨 40%，而电力公司可以理直气壮地说：”我们没有涨价。”
这就是 token 膨胀的本质。
更深层的行业问题
这件事揭示的不仅是一个计费问题，而是一个系统性信任问题：
第一，计量标准缺乏统一性。 不同公司使用不同的 tokenizer，同一文本在不同模型上的 token 数可能差 2-3 倍。OpenAI 的 tiktoken、Anthropic 的新 tokenizer、Google 的分词方案——它们之间没有可比性。用户很难在不同供应商之间做出真正的成本比较。
第二，升级成本的单向转移。 模型能力提升是供应商的进步，但升级带来的 token 膨胀成本却完全由用户承担。如果新 tokenizer 处理图片更高效但处理文本更低效，用户是否有权选择使用旧 tokenizer？
第三，OpenAI 做对了一件事。 Simon Willison 指出，OpenAI 是唯一公开系统提示词的主要 AI 实验室。这种透明度虽然有限，但至少让社区有机会发现和讨论问题。Anthropic 此前也以透明著称——公开系统提示词的变化分析正是 Simon Willison 的专长。但 token 膨胀这件事，说明透明度不应只停留在提示词层面，计费机制的变更同样需要公开。
一个更公平的方案
AI 行业需要建立 token 计量的”公制化”标准：
-
标准化基准文本。 就像电力公司用”标准千瓦时”一样，AI 行业应该有一段或多段标准文本，所有供应商都必须报告处理这些文本所需的 token 数。用户可以据此换算真实成本。
-
升级前后成本承诺。 当 tokenizer 发生变化时，供应商应承诺：对于相同输入输出，新模型的实际费用不会超过旧模型的 X%（比如 110%）。超出的部分应自动折算为 token 额度返还。
-
Tokenizer 版本锁定选项。 企业用户应该能够选择使用特定版本的 tokenizer，而不是被迫跟随每次升级。API 可以通过参数实现这一点，比如
1
tokenizer_version=claude-4.6
隐形税终将被看见
Token 膨胀不会是最后一次。随着模型架构持续演进——从纯文本到多模态、从单一模态到原生多模态——计费单位会不断被重新定义。每一次重新定义都是一次潜在的”隐形税”征收。
作为用户，我们不必抗拒进步，但有权要求进步的代价是透明的。AI 行业正处于从”技术驱动”向”商业驱动”转型的关键期，计费公平性将成为用户选择供应商的核心考量之一。
当一个行业开始认真对待计费透明度，才是它真正成熟的标志。