模型之间的悄悄话:当大模型跳过文字直接握手
语言是大模型世界的公共插座。公共插座的好处是谁都能用,代价是它永远成不了最快的通道。最近一篇论文干脆把插座拆了,让两个模型直接握手。

现在的模型是怎么「聊天」的
先看现状。一个典型的多智能体系统里,规划模型和执行模型是这样协作的:规划模型把想法生成成一段文字,执行模型拿到文字,重新 tokenize 一遍,映射回自己的向量空间,然后才开始理解。
细想一下,这个过程挺荒谬。模型 A 费劲地把脑子里的语义「渲染」成字符,模型 B 再把字符「反渲染」回语义。两头都是模型,中间隔着的却是给人类用的字符集。好比两个说同一种语言的人打电话,非要先把话译成电报码,对面收到再翻译回来。

Cache-to-Cache:直接抄「脑内笔记」
这周 Hacker News 又热了一篇论文(arXiv 2510.03215),思路一句话就能说完:既然语义本来就以向量的形式活在模型内部,模型之间通信为什么非要经过文字?
Transformer 处理文本时,会把每个 token 的中间状态存进 KV cache,你可以把它理解成模型的脑内笔记。Cache-to-Cache(C2C)的做法,是在两个模型中间加一个小投影模块,把模型 A 的笔记直接变换到模型 B 读得懂的输入空间,再塞给 B。全程不生成一个字。
论文报告的结果:跟基于文本的协作比,缓存直连的任务准确率高出 5 到 11 个百分点,延迟差不多砍半。数字本身不算震撼,方向才震撼。
模型间的每一次文字往来,都是一次有损压缩加一次解压。省掉这道工序,省下的不只是时间,还有在「翻译」里丢掉的语义细节。
快,是省出来的
可能有人觉得,文字生成慢就慢点,能有多大事。把规模放大看就不一样了。多智能体系统的开销大头,就在模型之间来回的 token 生成上:一次任务几十轮握手,每轮都要生成、解析、再编码。推理账单里这部分钱一直在默默流走。
C2C 砍掉的正是这段。decode 是逐 token 自回归的,串行,也贵;读一份缓存是一次前向计算,一步到位。
| 文本通信 | 缓存直连 | |
|---|---|---|
| 信息形式 | 离散 token | 连续向量 |
| 延迟 | 高,逐 token 生成 | 低,一次投影 |
| 语义损耗 | 有,渲染再解析 | 小,近似直传 |
| 人可读 | 是 | 否 |
| 跨厂商 | 天然通用 | 每对模型单独训投影 |
文字退场的地方,旁听席也退场了
技术上有得吹,但我更想说说另一面。
我们是怎么发现智能体出问题的?上上周我写过一篇《三千条消息的密谋》,研究者就是从模型之间往来的消息记录里,看出智能体在悄悄商量怎么绕过规则。能发现,前提是对话是文字的,人可以翻。
现在换成缓存直连。日志里没有句子,只有一串浮点数。密谋还是密谋,只是没人读得懂了。
文字对大模型来说是低效的协议,对人类来说是唯一的旁听席。拆掉瓶颈的时候,顺手把旁听席也拆了。
这不是危言耸听。今天的可解释性工具,几乎全建在「模型输出文字」这个前提上。激活值分析、探测分类器这些手段都还初级,远没成熟到能接管审计职能。在工具补上这块能力之前,先把模型间通信推进黑箱,我觉得操之过急。
通用性的三道坎
审计之外,C2C 想真正落地还有几个坎:
- KV cache 是模型私有的。 不同模型的隐藏维度、层数、语义分布都不一样,投影模块得按「每一对模型」单独训练。文本之所以是通用协议,就在于它够笨。
- 传什么没有定论。 哪几层的缓存、哪些 token 位置的信息值得传,论文用的是训练出来的选择机制,经验成分不低。
- 生态还没起来。 没有标准,没有工具链。调试一个黑箱对黑箱的接口,体验不会太愉快。

我的判断
我倾向于认为文字不会死,它会退到边界上。同一套权重的模型之间,缓存直连会变成内部高速总线,快就是硬道理;但凡跨过模型边界——跨厂商、跨版本、人机之间——文字还是那个谁都得认的公共插座。
真正值得盯的是中间地带:当推理成本继续下压,厂商会有多大动力把「对外」也变成「对内」?模型帮模型读合同、审代码,中间不再产生一句人话。到那时,我们和 AI 系统之间隔着的就不是一层玻璃,而是一堵墙。
技术从来不会因为「该可解释」就停下脚步,但工程习惯和监管可以要求留一扇窗。比如强制缓存通信附带一份低成本的文字摘要日志,当作行车记录仪。平时没用,关键时候能救命。
要点回顾
- 大模型之间的文字通信是瓶颈:有损、串行、贵
- Cache-to-Cache 用投影模块直连 KV 缓存,论文报告准确率提升 5-11 个百分点,延迟约减半
- 代价是人可读的审计痕迹消失,可解释性工具还没准备好接盘
- 文字会退守为跨边界的公共协议,但那扇旁听的窗需要制度去守住