Aleph Alpha 发布开源模型 Kolibri：78B MoE，Apache 2.0

Kolibri 是一个开源权重的大语言模型（LLM），来自Aleph Alpha面向德语和英语：一个拥有 780 亿参数的专家混合模型，但它每读取或写入一个 token 只使用其中约 35 亿个参数。它于 2026 年 10 月 3 日发布，采用Apache 2.0 许可证，权重位于Hugging Face 上，并且完全从零开始、在德国和芬兰的基础设施上训练。（Kolibri 在德语中是蜂鸟的意思，对于这样一个全部诀窍就在于轻量的模型来说，这名字很可爱。）

我住在德国，在SmashingConf New York2024 年那场活动上，当我说出我的所在地时，我告诉了满屋子的人我在美国听到的话：“你们负责监管，你们不创新。”听到这话很伤人，而我在那个舞台上所期望的是中间路线，“在数据隐私、数据治理、环境约束和能源需求方面，在创新与监管之间取得恰当的平衡。”Kolibri 正是对此相当直接的回应：一个德国团队“从底层开始”就带着EU AI Act来构建它，而在 Aleph Alpha 自己的评估中，它在两种语言上的得分都高于所有被比较的同规模模型。

向 Aleph Alpha 所有参与构建它的人致以热烈祝贺，我的好朋友Michael Hofmann也在其中！

这篇文章讲的是 Kolibri 如何工作、它强在哪里、弱在哪里、如何运行它，以及什么时候它是正确的选择。这里的一切都来自 Aleph Alpha 的189 页技术报告、模型卡以及他们的发布文章，再加上我在其分词器上做的一个实验。

什么是 Kolibri？

Aleph Alpha 称 Kolibri 为主权模型，在他们的发布文章中这意味着 2 件事。首先是它是如何构建的：“团队在德国构建了该模型，在德国和芬兰的基础设施上训练，遵循欧洲和德国法律，不受外国控制。”其次是客户得到的东西：“完全的部署自由和知识产权安全，因此合规性成为一种继承属性。”通俗地说，一个部委或汽车供应商可以在自己的服务器上运行它，数据永远不会离开大楼，没有人能在他们脚下更改或关闭这个模型。Aleph Alpha 还签署了欧盟的通用人工智能（GPAI）行为准则。

主权并不意味着没有任何来自欧洲以外的东西参与其中，模型卡自己也这么说：英文网络文本用 Google 的Gemma 4进行了改写，德文用Mistral-NeMo，以及Qwen3-32B来标注数据以供质量过滤器使用。然后他们针对这类模型可能存在的政治偏见对训练数据进行了过滤，这些偏见他们已经在中国开源模型中测量过。

Kolibri 如何工作

Kolibri 是 6 个想法层层叠加，每一个都是为了让德语更便宜、更长或更诚实。

1. 384 个专家，每个 token 看到 6 个

在普通（稠密）模型中，每个 token 都要经过每一个参数。在混合专家（MoE）中，每一层都有一群称为专家的小型子网络，以及一个路由器，为每个 token 挑选其中几个。Kolibri 有 50 层，每层有 384 个专家，外加 1 个每个 token 都会经过的共享专家，其路由器将每个 token 发送到 384 个专家中的 6 个。这就是 781 亿参数如何变成每个 token 实际 34.6 亿次计算的方式。

2024 年我做了一场演讲，题为为什么小语言模型是未来，我主张“参数更少、出错的地方更少、所需算力更小的更小语言模型”。我的类比是一位读遍了世界上所有医学书籍的医生与一位血液学专家：带着血液疾病去找第一位，“他们可能搞不对，因为他们知道得太多。”混合专家把一整座医院的专家放进一个模型里，而路由器就是前台接待员，把每个 token 送到正确的 6 位专家那里。

不过这个类比在 2 个地方站不住脚。专家并不是像“德国法律”那样整齐的主题：当研究人员深入查看 MoE 模型内部时他们大多发现的是针对 token 模式的专家，比如标点符号或专有名词，而不是一个人会挑选的主题。而且这家医院必须让全部 384 位专科医生都在岗，即使你只看 6 位，所以Kolibri 的计算量相当于一个 35 亿参数的模型，但需要 780 亿参数模型的内存。模型卡上写得很直白：“即使任何时候只有一部分处于活跃状态，整个模型也必须保存在内存中。”

2. 一个能读懂德语长词的 tokenizer

模型读的不是字母或单词，而是 token：来自固定词表的文本块，在训练 tokenizer 时被挑选出来。德语会把单词粘成长长的复合词，而一个主要从英语学来的 tokenizer 会把它们切成碎片。下面是联邦宪法法院的德语名称，由 GPT-4o 和GPT-5使用的 tokenizer（o200k_base通过 OpenAI 的tiktoken）切分，以及 Kolibri 的切分：

o200k_base (GPT-5):  Bund | es | ver | fass | ungs | gericht     6 个 token
Kolibri:             Bundes | verfassungsgericht                 2 个 token

Kolibri 的 tokenizer 有 128,000 个 token，用一种 Aleph Alpha 称为 UniBPE 的新算法训练：它保留了字节对编码（BPE）的自底向上合并方式，并用不同的评分规则（Unigram 目标）来选择每次合并，从而尊重德语构词的方式。报告称，对于德语文本，它比 GPT-5 的 tokenizer 少用 11.2% 的 token，是他们测量的另外 9 个中最好的。

我想亲眼看看，于是我把 6 个 tokenizer 跑遍了整部德意志联邦共和国基本法，即德国宪法（185 KB 非常德式的法律文本），以及它的官方英文译本：

在法律德语上，Kolibri 比 GPT-5 的分词器少用 15% 的 token，甚至比 Aleph Alpha 自家的 11.2% 还多，而在英语上则与之持平。太惊人了。更少的 token 意味着读写同一段德语文本所需的步骤更少，同样的上下文窗口能容纳更多德语。（我用各自的分词器逐一计数tokenizer.json通过 Hugging Face 的tokenizers库，除了o200k_base，我用 tiktoken 计数。）

3. 大多数层只看附近

Kolibri 的 50 层中有 40 层使用滑动窗口注意力：每个 token 只看它前面的 512 个 token。每第 5 层会看它前面的所有内容。这就像读一份很长的合同时，大部分时间只关注你正在读的那句话，每隔几页停下来思考一下全文，而正是这一点让 100 万 token 的上下文变得可负担。

这里还有一个巧妙的设计。只有滑动窗口层知道 token 的位置（通过旋转位置嵌入），而全注意力层不知道，因此上下文可以超出它训练时的 262,144 个 token，而无需任何额外的位置技巧。Aleph Alpha 验证到了 1,048,576。

在我的演讲Unlocking Value with AI Today中，我把有限的上下文称为生成式 AI 的“三大”问题之一，另外两个是幻觉和知识截止，而 Kolibri 同时针对这 3 个问题。在 100 万 token 下，在RULER长上下文测试中，Kolibri 的基础模型得分为 63.2，而 Qwen3.5 35B-A3B 的基础模型为 57.5。

4. 它用德语思考

推理模型在回答前会先思考，而即使面对德语提示词，它们大多也用英语思考。Aleph Alpha在 9 月 24 日发帖谈到这一点，并把它写成了Through the Valley of Tears：他们生成了约 80 万个德语推理示例，并发现少量德语推理数据还不如没有。他们模型的德语数学分数从 70.2 掉到了 48.3，因为它的德语思考总是绕圈子、永远结束不了，只有加入多得多的德语数据后才回升（到 67.3）。

Kolibri 得到了多得多的数据。它在德语提示词上用德语推理，其德语数学分数是约 30 亿活跃参数模型中最高的：在American Invitational Mathematics Examination (AIME) 上为 87.52025 年在德语上，对比次优的 84.4，NVIDIA 的Nemotron 3 Nano。

5. 它被训练来说“我不知道”

幻觉是我三大问题中的第一位，而那场演讲中的解决方案是检索增强生成（RAG）：你查找好的、权威的信息并将其放入提示中。不过，RAG 只有在模型承认文档中没有答案时才有效，而这正是 Aleph Alpha 所训练的目标，他们用自己的方法，即Merlin-Arthur 协议。

它的运作方式像一场有 3 名玩家的游戏。Arthur 是模型，他得到一个问题，其中支持文档的部分内容被隐藏。Merlin 隐藏部分内容，以便正确答案更容易被找到，而 Arthur 被训练来回答这些问题。Morgana 隐藏答案所依赖的证据，而 Arthur 被训练来说他不知道。Arthur 从不知道他面对的是这 2 者中的哪一个，所以获胜的唯一方法就是真正检查他面前的证据是否支持某个答案。

这有所体现。在Artificial Analysis 的 Omniscience 测试中，当 Kolibri 不知道答案时，它有 44% 的时间会如实说明（或给出部分答案），而不是编造一个。Qwen3.5 35B-A3B 这样做的时间为 11.1%，GPT-OSS 120B 为 23.7%。在 Aleph Alpha 比较的所有混合专家模型中，只有Qwen3.6 35B-A3B表现更好，为 56.7%。

6. 你可以选择它思考的难度

每个请求都可以将reasoning_effort设置为none，low，medium或high，因此快速查询会立即得到回答，而难题会得到长时间思考，来自同一服务器上的同一模型。

Kolibri 擅长什么

这些是 Kolibri 在 Aleph Alpha 的评估中领先于同规模开源模型的行，该评估让每个模型都通过相同的设置运行，并使用其制造商推荐的采样设置：

数学是亮点：在 2025 和 2026 年的 AIME 英文测试中，它击败了对比中所有 MoE 模型，包括那些拥有 120 亿激活参数的模型，只有稠密的 Qwen3.8 27B 得分更高。公司文档那一行是 Aleph Alpha 基于半导体、德国公共部门、航空航天、一家汽车供应商和工业驱动领域的类客户工作构建的 5 项测试，运行在模型训练中从未见过的文档和问题上。

Kolibri 不擅长什么

Aleph Alpha 在模型卡中把最弱的几行就放在最好的几行旁边，所以它们如下：

• 它从记忆中知道的东西更少。在一项闭卷测试中，它在 12 个模型里排最后（检索增强生成基准的问题，没有文档，51.0），而且它只正确回答了 14.8% 的 Omniscience 问题，相比之下 Qwen3.5 35B-A3B 为 22.2%。它知道自己不知道，这很好，但它知道的也更少：提示中有文档时没问题，作为冷知识问答源则很差。
• 多轮工具调用更弱。在伯克利函数调用排行榜的多轮测试中，它得分为 39.8，相比之下GLM-4.7 Flash为 58.2，Qwen3.5 35B-A3B 为 54.0。
• 它不是最好的编程智能体。它在Terminal-Bench2.1 上得分为 27.7，相比之下 Qwen3.5 35B-A3B 为 39.7；在SWE-bench Verified上得分为 66.4，相比之下 Qwen3.6 35B-A3B 为 73.8。
• 长上下文在中间段下滑。在 RULER 的 128,000 token 上，Qwen3.5 的基础模型得分为 89.9，而 Kolibri 为 67.9。Kolibri 只在非常长的末端才反超。
• 内存。78 GB 的权重意味着需要一块或两块数据中心 GPU，绝不可能是一台笔记本电脑，不管那 35 亿暗示了什么。
• 底层管道是新的。它需要 Aleph Alpha 的vLLM 插件，该插件一次只支持一个 vLLM 版本（目前是 0.29），而且在发布当天还没有托管服务商提供它。
• 只有 2 种语言。这是有意为之：模型卡称其为“对深度而非广度的刻意选择”。
• 更大的稠密模型能击败它。 Qwen3.8 27B在英文中得分为 80.2，在德文中为 79.9，但它每个 token 使用的参数量几乎是其 8 倍，而这正是 Kolibri 围绕其构建的权衡。

如何运行 Kolibri

你需要大约 78 GB 的 GPU 内存：至少 2 块 NVIDIA A100 或H100，每块 80 GB，或者单块H200、B200 或 B300。我还没有实际运行过这个模型，因为它需要数据中心级 GPU，而且目前还没有人托管它，所以以下内容直接来自模型卡。首先是插件，它会安装vLLM它所支持的版本：

pipinstall'aleph-alpha-inference>=1'

vllmserveAleph-Alpha/Kolibri-1--kv-cache-dtypefp8\
--reasoning-parserkolibri1\
--tool-call-parserkolibri1\
--enable-auto-tool-choice

这样你就得到了一个兼容 OpenAI 的服务器，任何 OpenAI 客户端都能与它通信，而推理强度通过聊天模板传入：

# 来自 Kolibri 模型卡（已裁剪）
fromopenaiimportOpenAI

client=OpenAI(base_url="http://localhost:8000/v1"，api_key="EMPTY")
response=client.chat.completions.create(
model="Aleph-Alpha/Kolibri-1"，
messages=[{"role"："user"，"content"："Erkläre kurz, was ein Mixture-of-Experts-Modell ist."}]，
extra_body={"chat_template_kwargs"：{"reasoning_effort"："high"，"enable_thinking"：True}}，
)
print(response.choices[0].message.content)

模型卡推荐temperature=1.0，top_p=0.97和top_k=128，对于任何对延迟敏感的任务，上下文最多为 262,144 个 token。要使用完整的 100 万，需要用另外 2 个标志来提供服务：

vllmserveAleph-Alpha/Kolibri-1--kv-cache-dtypefp8\
--max-model-len1048576\
--hf-overrides'{"max_position_embeddings": 1048576}'

何时使用 Kolibri

当德语文本和你自己的硬件都很重要时，Kolibri 就是首选：一个公共机构、一家银行、一家制造商或一家航空航天供应商，必须将文件保留在内部，希望得到用德语推理的德语答案，并且宁愿听到“我不知道”，也不愿听到一个自信的错误答案。对长篇德语文档（法律、合同、手册）做 RAG 能发挥上述所有优势：分词器、100 万 token 上下文以及弃答能力。

这正是我目前正在做的项目类型，与Prof. Dr. Heinrich Audebert合作，他领导Campus Benjamin Franklin 的神经科，这是Charité柏林的医院。如今，一位有神经系统症状的患者去看全科医生（GP），而全科医生必须接诊，这对繁忙的诊所来说要求很高。在我们正在构建的方案中，患者坐在全科医生诊所的电脑前，一个 AI 虚拟形象带他们完成一系列测试，并评估其症状的紧急程度：是立即转诊给专科医生，还是可以稍等。对话是德语的，涉及人们的健康，而且模型必须在我们能控制的地方运行，所以我们在考虑用 Kolibri。

对于编程智能体来说，这是错误的选择，在这方面 Qwen3.6 35B-A3B 领先；对于模型必须凭记忆回答的问题、对于除德语和英语以外的任何语言，以及对于任何拿不出 78 GB GPU 显存的人来说，也是如此。对于最后一种情况，我在 2024 年主张的小型专用模型仍然是答案：为了我的播客搜索，我在我的 Apple 芯片笔记本电脑上微调了 Mistral 7B而不是付费使用 GPT-4o。

对于你自己的文档，像 Kolibri 这样的专家医院，还是为单一任务训练的一个小模型，哪个更好，只有在你用自己的数据把两者都试过之后才会显现。在不破坏智能体的前提下替换其底层模型，正是我关于可靠 AI 智能体的工作坊所涵盖的内容：无论底层是哪个模型都能奏效的护栏和重试。