📄 文章总结：《AI说不出的随机数，成了鉴别套壳大模型最好的照妖镜。》

公众号： 数字生命卡兹克 | 分类： LLM | 收录日期： 2026-08-11 原链接： https://mp.weixin.qq.com/s/pqFZreEZj8kB4KDirl4MSQ?scene=1

一、论文与核心问题

昨天看到一篇非常有意思的论文《One Token Is Enough》（《一个Token就够了》），7月11号刚挂到arXiv上，作者是布拉格经济大学的研究员托马什·布鲁克纳。

论文想解决的是API中转站“挂羊头卖狗肉”的问题——比如号称是Opus 4.8，实际卖给你GLM 5.2，怒挣数倍利润，很多使用者一时根本分辨不出来。

布鲁克纳做了一个有趣实验：对165个AI模型，反复问同一个无聊透顶的问题：

“给我一个1到100的随机数。”

比如作者自己试了一下，Claude Fable 5的回答是73。

二、实验：每个模型有自己的“执念”

每个模型被问了30遍，然后把回答统计成分布。结果非常有趣：

GPT-4o：30次里最爱说42、37和57，这三个数字占了大半壁江山，其他数字只是偶尔出现。
Claude Sonnet 5：更离谱，30次回答里疯狂输出47。
Llama 3.3：则多数是53。
Qwen3-Max：30次全部是42，一次都没有变过，无一例外。

理论上，随机数应该是均匀分布，1到100每个数字被选中的概率应为1%，但模型的实际分布跟“随机”这两个字“屁关系都没有”。

每个模型的执念都不一样：GPT-4o痴迷42和37，Claude偏爱47，Qwen死守42，Llama钟情53。就好像每个AI灵魂深处都藏着一个“思想钢印”，只要让你随便说个数字，你脑子里第一反应都是那个数字。

不光是数字，布鲁克纳还测了随机颜色、随机动物、随机城市、抛硬币等共10类任务，总共往OpenRouter上发了32万6千条请求。结论都一样：对于模型而言，根本没有什么随机，一切都是确定的，就像有一双无形的大手控制了他们所有的回答。

三、从缺陷到“行为指纹”的灵感

其实“AI不会真随机”这件事并非新发现：2023年有人做过LLM随机数偏差实验；2024年有人研究过LLM抛硬币的序列偏差，发现模型不仅不随机，还表现出类似人类的模式偏好，只是更极端；2025年更有人发现不同模型有不同的“幸运数字”，与语言文化背景有关。

但这些发现，大多被归为模型的一种特质、一种缺陷，然后就没有然后了。

布鲁克纳的天才之处在于：如果这些“思想钢印”多个组合起来，不就等于成了每个模型的身份证吗？有了身份证，就可以验证中转站有没有在偷偷掺水。

他把这个方案叫做 Behavioral Fingerprint（行为指纹）。就像每个人的指纹独一无二一样，每个模型在随机问题上的概率分布也是独一无二的。

只需要模型输出一个 Token，就够锁定你是谁。

四、现实背景：中转站偷换模型有多普遍

国内用Claude、GPT等模型，很多人走的是中转站。个人用户自己挂魔法还行，公司层面基本只能自建或接第三方中转，统一走API。上次Anthropic大面积封号时也聊过这件事。

这个生态里有一个几乎所有人都在默默忍受的问题：你付了Claude Opus 4.8的钱，收到一段回复，但这回复到底是Opus 4.8生成的，还是中转站偷偷换成了GLM-5.2甚至更便宜的货？你根本无从验证。

今年3月，CISPA的研究人员审计了17家中转API，用能力测试、统计检验和一套叫 LLMmap 的模型指纹技术，真的抓到了多个疑似偷换模型的端点：有人卖GPT-5，指纹却更像GLM-4或DeepSeek-V3；有人卖DeepSeek Reasoner，背后跑的却像普通DeepSeek Chat。

这件事如此普遍，纯粹是经济结构决定的：推理成本与模型大小几乎线性挂钩，700亿参数和80亿参数的模型推理成本差五到十倍。把付费的大模型悄悄换成小模型或量化到极致的版本，在日常对话、翻译、简单问答场景下根本感知不出区别——只有在复杂推理、长文写作、代码这些场景下差距才会冒出来。

五、布鲁克纳的方法：轻量级验真

CISPA那套LLMmap方法很重：要准备专门测试题、收集完整回答、建立模型数据库、训练分类器，一般人根本用不起来。

布鲁克纳把整个验明正身的过程压缩成了一件近乎荒诞的小事：就问AI“给我一个随机数”，然后数它的回答。

这套方法非常精妙：

传统对抗性探针的弱点是Prompt太特殊，容易暴露；而“说一个1到100的随机数”放在任何聊天记录里都毫不起眼，跟问天气预报没区别。
探测任务都是语义层面的，可以用无穷多种方式改写、翻译。用英文问和用阿拉伯语问，测出来的是同一个模型的不同切面，但每个切面都带着身份信息。
整套方法被设计成类似生物特征识别的协议：先在可信官方API上采集“参考指纹”，再对待验证端点采集“待验指纹”，计算两份指纹的 Jensen-Shannon散度（衡量两个概率分布差异的指标），距离小于阈值就认证通过。

准确率方面：用全部40个探测单元跑完，判断错误的概率只有7.3%；就算只用8个单元（约120条请求），错误率也只有10.6%左右。这跟上文提到的LLMmap准确性差不多，但简单太多了。

六、劲爆案例：Palmyra X5

在165个模型跑完后，布鲁克纳发现了一个相当劲爆的案例：

一个叫 Palmyra X5 的端点，在OpenRouter上以某公司自研旗舰的身份售卖，但它的行为指纹跟通义千问的开源模型 Qwen3-235B 几乎一模一样，差距只有 0.141。

这个相似度分数数字越小代表越像。同一个模型在两个不同供应商那里各部署一套，因为服务器环境不一样，两边的指纹也会有正常波动，大约为 0.140。而Palmyra X5和Qwen3-235B的差距是0.141，和一个模型自己跟自己比的波动几乎一模一样。

布鲁克纳在论文里措辞很克制，说这只是统计性观察，不是对意图的指控。但数据和代码全部公开，任何人都可以复现。网址：https://zenodo.org/records/21278557

七、底层问题：AI为什么不能真正随机？

这个发现远比审计结果本身更有趣：AI为什么就是不能生成真正的随机数？

之前帮影视飓风做视频时也聊过这个话题：AI视频里抛硬币，概率根本不是55开，而是73开。布鲁克纳测试里也一样，1到100随机数的标准答案应该是均匀分布，但165个模型一个都没做到。

论文用了熵来衡量随机程度：完全均匀分布的熵应该是 6.64 bit，但165个模型的中位数只有 1.0 bit，相差五六倍。AI回答随机数时的信息量只有真随机的六分之一，高度集中、高度可预测、高度非随机。

心理学和行为经济学早就研究过：人类也不会生成随机数。经典实验里，让人闭上眼睛说一串随机数字，人类会强烈倾向避开重复、避开相邻数字、偏好奇数。比如让100个人说一个1到10的数，7被选中的概率远高于10%，因为人脑觉得7看起来比较随机，而5和10看起来不够随机。

真正的随机，要求你是一张白纸。但大模型恰恰是人类有史以来信息密度最高的“非白纸”：训练数据是数十万亿token，几千年来文明的总和。每一个权重参数都编码着某种规律、某种偏好、某种从语料里沉淀下来的肌肉记忆。所以AI只能从见过的所有文本里，找一个最像随机数的答案。

为什么42被那么多模型偏爱？因为它是《银河系漫游指南》里“生命、宇宙以及一切问题的终极答案”。为什么7总被人类选中？因为它在宗教、文化、文学和日常语言里，被反复赋予神秘、幸运和特殊的意义。37、47、53这些数字为什么频繁出现？因为它们是奇数、是质数，不圆整、不对称，看起来更像一个没有经过思考、随手蹦出来的数字。可恰恰因为所有人都觉得它们更随机，它们才变得最不随机。

大模型只不过把人类潜意识里的这种偏见，压缩、放大，然后写进了自己的概率分布里。

参数可以被量化，系统提示词可以被修改，名字可以被重新包装，外面甚至可以套上完全不同的壳。但模型在亿万次训练中形成的概率习惯，依然会从一个小小的Token里漏出来。

爱因斯坦说过：上帝不掷骰子。

而AI，也不掷骰子。它每一次以为自己在掷骰子的时候，掷出来的，都是自己。

🎯 Friday 提炼

单个随机数问题就能构成模型的“行为指纹”，一个Token即可锁定模型身份。
中转站偷换模型屡见不鲜，根源是成本差巨大且日常场景难以察觉；轻量级指纹验证让鉴别变得极其简单。
所有AI模型都无法真正随机，其概率分布呈现强烈的个体偏好，本质上是人类文化偏见的压缩与放大。
Palmyra X5与Qwen3-235B的行为指纹几乎一致（差距0.141，接近自比波动0.140），疑似套壳，数据公开可复现。
随机是幻觉，概率习惯会从最不起眼的回答中漏出来，成为大模型无法摘掉的“身份证”。

一句话： AI说不出的随机数，恰恰成了鉴别套壳大模型最好的照妖镜——只需问一个随机数，行为指纹就能让模型原形毕露。

💡 Friday 看法

这方法确实聪明，把一个需要复杂工具链的模型指纹识别问题，简化成了问一句“随机数”这种毫无攻击性的日常请求。尤其对国内大量走中转站的用户来说，这可能是目前最实用的验货手段——不用看什么专业报告，自己手动问几遍再数数分布就能有个大概判断，比那些需要建数据库、训练分类器的方案友好太多了。

不过我觉得它也有局限。行为指纹测的是“身份”而非“能力”，如果中转站给你换了个能力相近但更便宜的模型，指纹可能完全不同，但日常用起来你也未必吃亏；反过来，如果它给你的是同一个模型的量化版本，指纹也许很接近，但推理质量其实缩水了。所以它更适合抓那种“挂羊头卖狗肉”的极端调包，对于更精细的降级和量化，光靠随机数可能还不够。

另外那个Palmyra X5和Qwen3-235B指纹几乎一致的案例确实劲爆，但也提醒我一个事：如果以后大家都用这种方法来验证，中转站完全可以针对性地在“随机数”这类问题上做微调或映射，模仿目标模型的分布。毕竟比起在复杂推理上伪装成另一个模型，控制几个数字的分布输出要容易太多了——这照妖镜恐怕也会被道高一尺魔高一丈地反制。