认知鸿沟的两端,站满了聪明人

认知鸿沟的两端,站满了聪明人

2026年10月11日,Andrej Karpathy在X上发了一条推文,说业界与公众对LLM真实能力的共同理解,差距正在持续扩大。Hacker News上两百多人顶了这条消息,评论区照例分成了两派:一派说公众被营销吹晕了,另一派说从业者被悲观蒙眼了。两边都觉得自己是清醒的那个。

认知鸿沟的两端,站满了聪明人

Karpathy这条推最有意思的地方,不是他说了什么,而是他没说什么。他没有说公众高估了,也没有说公众低估了——他只说”差距在拉大”。这是一句非常安全的话,安全到两边都能引用它来骂对方。但如果我们认真对待这句话,就得回答一个它回避了的问题:这条鸿沟,到底是营销吹出来的,还是测量本身失灵了?

我的答案是后者。而且这不只是公关问题,是一个正在被严肃研究者用论文确认的技术事实。就在Karpathy发推的前三天,arXiv上出现了一篇题目平平无奇但相当扎心的论文:《AI时间视界估计的统计有效性:对METR曲线的再审视》。

被奉为圭臬的尺子,先量了量自己

关注AI能力进展的人,大概率见过METR那张著名的图:AI能完成任务的”时长”每隔几个月翻一倍——2024年还能做5分钟的任务,2025年做到了1小时,照这个斜率外推,几年之内AI就能独立干完人类需要一天甚至一周的活。这张图被无数人引用,用来论证”AGI还有X年”。

问题在于,”50%时间视界”这个指标的定义是:AI能以50%成功率完成的任务,对应人类需要花多长时间。人类任务时长在这里被当成了能力的度量衡——仿佛一篇文章的字数能完美代表它的写作难度。

新论文在228个任务上对这个口径做了系统检验,结论说得很客气,但翻译过来就是:任务时长和任务难度的相关性,远没有大家默认的那么稳。有的任务人类花两小时,纯粹是因为要等一个批处理跑完,AI一秒钟就算完了;有的任务人类二十分钟搞定,对AI却是深渊——因为需要真实世界的一步操作、一个电话、一次面对面的确认。用人类耗时给任务标定”难度刻度”,就像用体重给病人标定”健康刻度”:大多数时候有点用,但你会把肌肉发达的判成病人,把虚弱的判成健康。

于是荒诞的一幕出现了:同一把尺子,乐观派拿来证明”指数增长近在眼前”,悲观派拿来证明”离通用还远得很”,而论文说的是这把尺子本身在关键区间会读错数。鸿沟两岸的人引用的是同一个METR,看到的却是两个世界。

城市里交错的人行天桥,各行其道

这不是METR一家的问题。同一批arXiv里还有篇”Harmful Refusal”基准的心理测量学审计,发现安全总分几乎相同的两个模型,在具体安全属性上的差异大得像两个物种。单一分数是台强大的压纸机,把模型千差万别的真实画像压成一行数字,然后大家对着这行数字吵架。

语音AI:鸿沟的最佳标本

如果说评估方法论的争论太学术,那语音AI就是这条鸿沟的活体标本。

10月11日的TechCrunch Disrupt上,多位语音AI从业者公开承认:语音AI还没等到自己的”ChatGPT时刻”。这句话值得咂摸一下。因为从工程指标看,语音AI早就”应该”成功了——最新模型的语音识别错误率已经低于人类速记员,语音合成的自然度在盲测里屡屡骗过听众,端到端延迟也压进了自然对话的阈值。每一项单拎出来都是达标线以上的成绩。

可是用户就是不把它当成日常工具。原因恰恰藏在”ChatGPT时刻”这个说法里:ChatGPT的时刻不是技术达标的那一刻,而是产品承诺和用户体验严丝合缝对上的那一刻。公众对语音AI的想象被科幻喂养了七十年——你说话,它理解,它办成事。而现实里的语音助手会在你犹豫的半秒钟里抢话,会在你随口一句”等等”之后陷入深沉的思考,会把一句玩笑话认真地执行成一条日程。技术每次达标,期望就趁机再涨一截,鸿沟就这样被体验一次次重新撕开。

深夜亮着的手机屏幕,语音助手界面

同一周还有个更安静的注脚:豆包上线了水、电、燃气缴费。一个以”全能助手”自居的AI,真正让用户留下来的功能是交话费。这不是语音AI的失败,这是市场的诚实——用户根本不在乎你能规划多复杂的任务链,他们在乎的是这件事交给你之后我能不能不再想它。所谓鸿沟,很多时候是从业者拿自己的指标体系,去度量一个完全用另一套标准投票的公众。

鸿沟不是要被消除的故障,它就是产品本身

现在可以回到Karpathy那句话了。大多数人对”鸿沟扩大”的隐含期待是:随着技术进步和科普努力,公众理解会追上来,鸿沟会收敛。我恰恰认为这个期待是错的。

鸿沟不会收敛,因为它不是理解的滞后,而是结构性的错位。从业者用成功率、时间视界、基准分数思考,公众用”它能不能替我把事办了”投票。这两套坐标系永远不会重合——就像体温计的刻度永远不会和”今天感觉怎么样”重合。METR论文证明了连从业者自己的坐标系都在晃,语音AI的困境证明了公众的坐标系根本不吃指标这一套。两岸的人都在认真测量,只是量的从来不是同一条河。

对从业者,这意味着一件不太舒服的事:你手里漂亮的评估曲线,对公众的说服力约等于零。一个”50%成功率”在从业者耳中是里程碑,在用户耳中是”一半的时候它会坑我”。真正跨越鸿沟的产品从来不是靠解释指标赢的,是靠把指标藏起来赢的——ChatGPT自己就是证据,它爆红靠的是一个任何人都能试的对话框,而不是一张benchmark图表。

对普通人,这倒是个好消息:你不需要看懂任何曲线,只需要在鸿沟的此岸耐心等着。技术会一次次冲向对岸,然后一次次在”指标完美、体验拉胯”的滩涂上搁浅,直到某个产品干脆放弃解释,直接把对岸搬到你的口袋里。那一天到来之前,所有关于”还有X年”的预言,都不过是鸿沟两岸各自回荡的回声。

聪明人站在两岸,隔着同一条河互相喊话。可惜的是,河里流的不是水,是两套互不兼容的度量衡。

📷 Photo by Yasuto Takeuchi on Unsplash

📷 Photo by Kev Costello on Unsplash