Same information, 160 years apart: 11 words at 10 cents each vs. 1,847 tokens of “you’re absolutely right”

以下所有内容均可复现——测试框架、冻结账本、一键 notebook:github.com/Travis42/telegraph-test。

数字来自一个 50 篇段落、约 1,300 道题的基准测试:

跨家族矩阵(reader = 外部模型根据 GLM-5.3-Flash 的记录作答;writer = GLM-5.3-Flash 根据它们的记录作答)1所示节省量使用小写指令,按各提供商自己的计量器计算。没有这个词,模型会用全大写写出电缆体,风格化会带来 14–19 个百分点的代价:gemma 25.0%,qwen 29.8%,GLM 33.9%。*gpt-5-mini 无法禁用推理,而压缩会让它思考——它的写入计费约为普通的两倍。这是该技术唯一不划算的家族。:

模型角色明文 acc电缆体 acc恢复比率(1.00 = 明文对照)token 节省
gemma-4-31breader70.9%77.5%1.09—
qwen3.8-27breader72.3%79.4%1.10—
nemotron-3-120breader76.1%76.7%1.01—
gemma-4-26breader71.8%76.9%1.07—
gemma-4-31bwriter——1.0940.4%
qwen3.8-27bwriter——1.1048.9%
gpt-5-miniwriter——0.9917.7%*

GLM-5.3-Flash 自身:48.4% 节省使用小写指令,家族内恢复1.09。2reader 在每个条件下回答 694 道锚定问题;writer 的记录由 GLM-5.3-Flash 读取——本文中每次运行的每次 GLM 调用都是 glm-5.3-flash,即 z.ai 编码计划上的快速变体。矩阵中没有任何比较偏向明文;每个比率都落在 0.99–1.10。

条件阶梯——相同问题,一次只变一个变量:

条件作答模型得到 / 做什么锚定准确率对比明文对照
段落,以明文作答完整段落91.5%1.00(参考)
段落,以电缆体作答完整段落,简洁语体74.4%0.81
└ + 转写为明文那些简洁答案,展开后78.8%0.86
明文记录明文摘要75.8%1.00(参考)
电缆体记录压缩摘要82.5%1.09
解码记录电缆体记录,展开回来81.6%1.08

下游模型,包括四个从未见过示例的家族,根据压缩记录回答问题,其表现与根据明文一样好或更好——恢复比率0.99–1.10,其中 1.00 表示“与明文完全一样好”。这种语体不是我们发明的构造(LLM 是被冷冰冰地交给压缩记录的,并以同等水平读取它们);这种能力早已存在于权重之中,继承自一个半世纪以来在计量带宽下写作的人们。

  • 留存结果,以及如何解读。Cablese 记录读起来略好于常规回复(阶梯上的 1.09),最可能是因为压缩抑制了严格评分所惩罚的照抄记录式措辞。
  • 每个被测试的模型都能做到这一点。它就在它们的训练数据里——但在相同指令下,压缩率从 25% 到 49% 不等。如果你想使用这项技术,这种逐模型的差异值得了解,而且它是可知的。
  • 存在轻微的信息重建成本,但仅在为用户转录单个答案时。如果消费者是模型——或者记录只是被重新读取——那么适用的就是回读比率,而它们全都 ≥0.99。3从统计上看:没有任何比较结果偏向明文;同族回读 p<0.0001,解码记录 p=0.03。
  • 存储循环的经济账。扩展会返还大约三分之一的节省,因此一个人类可读的扩展归档成本仍远低于明文。

注意这一切加起来意味着什么:

无需新硬件、无需训练、无需更改 API,只需一句指令。要么你的智能体在压缩端获得近两倍的上下文,要么以一半的输出账单完成同样的工作。这是一项经过验证的重大优化,而据我所知,它就是没有发生。

压缩何时是免费的?

这取决于压缩步骤所处的位置。在模型仍在组织内容时压缩(用 cablese 作答,0.81,部分可在 0.86 恢复),你就要支付一笔语体税。但如果你在内容已确定之后压缩,压成机器将读取的记录(1.08–1.09),那就无需支付任何代价。

Cablese 属于“内容已确定”与“机器消费”之间:草稿本、记忆存储、智能体到智能体的交接。绝不适用于模型仍在思考中途的场景。

可以关闭推理的模型会把压缩成本算得清清楚楚。gpt-5-mini 的推理是强制的(API 拒绝将其关闭),而 cablese 会让它思考的强度大约增加 3 倍——尽管文本更短,它的写入成本却翻倍。教训是你必须用那些你能控制其思考过程的模型来做压缩。

所以:

  • 每笔 LLM 账单中昂贵的那一半,对于机器消费的文本而言都是可选的开销。输出 token 的成本是输入 token 的 3–5 倍,而对于一个模型为另一个模型撰写的流量,在任何主流 API 上都能砍掉一半——一句指令,无需训练,无需配置(强制推理的模型除外)。
  • 智能体的记忆容量刚刚几乎翻了一倍。把草稿本和摘要以 cablese 存储:模型——即预期的读者——在所有测试过的模型家族中,都能以同等或更好的水平读懂它们。只有当人类真正查看时才展开回明文,而即便如此,归档的成本也比明文更低。
  • 模型选择与指令同样重要。同一条指令在各自的计量标准下将 gemma 的记录压缩了 40%,将 Qwen 的压缩了 49%——可压缩性是一种可测量的、因模型而异的属性,而在规模化下这种差异就是真金白银。The Telegraph Test 是一种判断模型在这类压缩上表现如何的方法。
  • 它很可能无法被圈禁起来。这种语域存在于所有测试过的模型家族的训练数据中。一个在前沿模型中压制它的实验室,只会把优势转移到仍然保留它的开源模型上。
  • 可审计性在压缩后依然存在。与那些涌现出来的智能体协议不同,cablese 是人类可读的、由约定固定的,并且可以按需解码——token 缩减了,但审计线索没有丢失。

电报时代,每个词都要计费

1866 年,通过新铺设的跨大西洋电缆发送一条消息要花费100 美元——仅十个词4每个词 10 美元,十个词起发,按今天的货币大约相当于 2,600 美元。。这在今天是一笔实打实的钱;在当时更是一笔巨款。电报公司按词收费,整个行业都从这种价格结构中生长出来。

The Great Eastern laying the first successful Atlantic cable (oil painting, National Maritime Museum, public domain). The link that charged $10 a word — and taught a generation of correspondents to write in cablese.

Great Eastern 号铺设第一条成功的跨大西洋电缆(油画,英国国家海事博物馆,公有领域)。这条每词收费 10 美元的线路——教会了一代通信者用 cablese 写作。

出现了两种压缩策略,它们对应着两种截然不同的技术:

码本。出版商销售大量商业电码词典——Bentley 的 ABC Telegraphic Code 长达一千页,将整个商业短语映射为单个代码词。

OTTER

……可能意味着

*轮船已抵达,货物完好,请汇余额。*

公司可以将 40 词的谈判压缩为 6 词的编码交换。码本是一种替换技术:消息以完整散文形式存在,而词典只是对其中的片段重新命名。

A page from the ABC Telegraphic Code: whole phrases mapped to single code words (public domain, via Wikimedia Commons)

电报体。报务员和通讯员演化出一种书面格式,例如:

"ARRIVE TUESDAY BRING FUNDS STOP CONFIRM WIFE SAILS FRIDAY."

这种精炼的风格在不丢失含义的前提下节省了词语,它是从媒介成本中自发涌现的。

随着时间推移,这种格式逐渐消失,因为电话、传真、电子邮件等新技术使按词计费的成本溢价崩塌。电报体在按成本或敲出消息所需时间计费仍然昂贵的地方以某种形式存续:160 字符的 SMS 催生了全新的缩写文化;早期的 Twitter 又重演了一次。

那么你猜怎么着?

Token 又成了按量计费的词

一份 LLM API 账单就是一份电报账单。你按 token 付费。

于是我们把这两种来自旧时代的策略都用在了现代模型上:

码本:取现有文本,用固定词典中的代码词进行替换。

结果:约节省 10%。大多数散文并非词典形状,而且替换无法删除作者已经写下的词——它只能重新命名它们。

电报体

指示模型:"用电报体写一份完整记录;去掉冠词和填充词;缩写;逐字保留每一个事实、数字和专有名词——用小写,不要全大写。"

为什么这在各模型上都有效?

这种语域已经存在于权重之中——是训练数据的产物。电报电缆、码本,以及电报体在更广泛的"电报风格"家族中的表亲(标题体、电传打字风格、笔记、SMS 缩写)都存在于大多数模型共享的"全人类知识"语料库中。有两点观察支持这一点。第一,模型能产出流畅、符合常规形态的从一句指令生成电缆文——没有示例,没有代码本。其次,跨家族矩阵中的读者甚至从未见过那条指令:他们拿到的是冷冰冰的压缩记录,并在四个模型家族之间以同等水平读取。这种共享的零样本流畅性很难解释,除非该约定潜藏在共享的人类文本中。5无聊的提醒:我还没有运行严格的对照——即剥离了历史框架的同一压缩指令(“尽可能简洁地写”)——来测试通用简洁性是否会产生同样易读的压缩。这里的说法是潜在语域的有力证据,但本质上这是一个有根据的猜测。

我们不是已经见过 LLM 这样做了吗?

是的,BabelTele(arXiv,2026 年 6 月)证明 LLM 可以将文本编码为紧凑的、非标准的形式——全语言词片段、符号、emoji——其他模型能以高保真度恢复(按其指标,在原始长度的 27.9% 下达到 99.5% 的语义保真度),包括跨模型迁移、智能体记忆和多智能体通信。它证明了这一普遍现象:人类可读性并不是模型到模型文本的必要条件。

此外,在 token 预算下运行 LLM 智能体群体的研究人员也观察到同样的事情自发涌现:将智能体置于压缩压力下,它们会协商出紧凑协议,而不是来回传递完整的英文。GLOSSOGEN发现正是预算压力催生了新的通信系统。另一篇论文,From Token Efficiency to Oversight Evasion,展示了智能体群体在效率压力下发展出涌现语言。

其他工作让智能体发明符号语言,将 token 削减3–6×且准确率稳定,而在极端情况下,有些框架完全跳过文本,在智能体之间传递原始嵌入向量。

已经发布的东西

  • Terse(terseai.org)。一款为你的提示词销售“电报压缩”的产品:在输入端基于规则剥离冠词和代词。保真度是断言的,而非测量的。
  • Caveman(github.com/juliusbrussee/caveman)。一个 Claude Code 技能,让模型以简洁片段作答。它在 Github 上有 10 万+ stars。

不过,我认为这里还有更多可做。

那么 Cablese 为什么重要呢?

如果模型能自行创造出 6 倍压缩之类的东西,为什么还要费心去搞区区 2 倍?原因如下:

这些涌现出的协议具有共同的特征:密集、高效、可在模型之间移植(其他 LLM 能在上下文中学会它们),但它们:

  • 不稳定——随着协商的持续会漂移
  • 对人来说不可读/难以理解

相比之下,Cablese 是:

  • 一个已知的标准,更具确定性、可泛化,无需设置或初始协商
  • 可读,因此可审计

事实上,这两种技术是压缩/可审计性前沿上的不同点,而你的工作负载位于该前沿的哪个位置,就应当决定选择哪个点。

The compression/auditability frontier, meter-basis: plaintext, cablese (40–49%), BabelTele, emergent protocols, and raw embeddings

电报测试——衡量模型如何使用 Cablese

该测试衡量什么:模型会得到一段文本和一组固定的问题,问题有简短、可核验的答案——一个日期、一个名字、一个数量。它根据某个版本的信息作答:原始文本、纯文本摘要、cablese 摘要,或展开回纯文本的 cablese 摘要。如果答案在固定字符串规则下与预期答案匹配,即为正确——没有评判者,没有自由裁量。然后每个得分都除以其自身的纯文本对照得分,所以1.00 始终意味着“和普通英语完全一样好。”高于 1.00 更好;低于则更差。

这些百分比衡量什么:针对事实的理解,呈现方式各不相同。每段文本都附带约 24 个问题,其简短的预期答案(一个日期、一个名字、一个数量)经过验证可从源文本中提取——其他任何内容都会在测试前被丢弃。模型会收到一种呈现形式——完整文本、纯文本记录、cablese 记录,或解码后的记录——并用几个词回答每个问题。当答案与预期答案的重叠在确定性的归一化匹配下超过固定的 0.8 阈值时,即为正确:没有精确匹配的吹毛求疵,没有评判者,没有自由裁量。本文中的每一次比较都保持问题和评分器不变,只改变模型能读到什么。

为什么纯文本基线不是 100%?对未压缩的明文段落回答问题得分约为 91%。这一差距有三个来源:严格评分(一个措辞不同但正确的答案会被判为未命中——确定性匹配没有判断力,也没有模型坐在裁判席上);歧义问题(有些问题不止一个站得住脚的答案);以及真正的未命中(模型确实未能提取出的事实)。没有裁判,我们无法拆分这三者,所以我们不去尝试——而且这个设计也不需要:问题和评分器在所有条件下都保持固定,因此基线差距在每次比较中都会抵消。这就是为什么该基准测试的主要数字是与每个条件自身明文对照的比值,其中 1.00 意味着和明文一样好。

关于如何阅读本文中数字的说明。这些比较是配对的——相同的问题在两种条件下都被回答——并用McNemar 检验进行检验。用大白话说:忽略两种条件都答对或都答错的问题(它们不携带关于哪个更好的信号),只看交换——恰好只有一种条件成功的问题。如果两种条件真的相等,这些胜出会像抛硬币一样平分;一个悬殊的分布(比如 69 胜对 45 胜)若仅有 3% 的概率因运气出现,就是存在真实差异的证据。这就是这里所有 p 值的含义。所以本文中的每个论断都是配对比较,而语域的成本就是这一对之间的差距——在我们测量的两个方向上都是零到负。

The Telegraph Test 用同样冻结的段落库、同样锚定的问题和每次相同的确定性评分器,回答关于任何模型的三个问题:

  1. 它写得有多精简?在相同的电报体指令下,它的记录比其明文记录短多少?
  2. 别人能读懂它吗?当一个不同的模型家族使用那份压缩记录来回答问题时,准确率能保持吗?(可读性——共享语域与私人习语之间的区别。)
  3. 每种使用成本是多少?面向机器的回读,面向人类的转写——分开测量,因为它们的行为不同。

没有人能在不运行实验的情况下知道这些数字——模型发布时并不会附带一行“擅长撰写精炼的电报体”的规格说明——而模型每月都在发布。这正是基准测试的用途:每来一个新模型,花一个下午的算力,这项特性就变成了表格上的一个数字,而不是口口相传的传说。

它所在的位置: github.com/Travis42/telegraph-test