Aleph Alpha 发布了 Kolibri，一个为德语和英语构建的开源权重混合专家（MoE）语言模型。Kolibri 总参数量为 78.1B，但每个 token 仅激活 3.46B，即 4.4%。它支持最多 1,048,576 个 token 的上下文，允许用户按请求设置推理强度，并以 Apache 2.0 许可证在 Hugging Face 上发布。目标是在公共管理、工业和航空航天等受监管行业实现主权部署。
它可部署吗？可以。FP8 检查点约为 78GB，可在单张 B200、B300 或 H200 上运行，也可在 2 张 H100 SXM5 GPU 上运行，通过 vLLM 提供服务，并配有专用的 Kolibri 推理和工具调用解析器。
什么是 Kolibri？
Kolibri（Kolibri-1）是一个由德国团队端到端开发的英德双语 MoE transformer。根据技术研究报告，Aleph Alpha 团队控制了完整流程：数据、架构、训练基础设施、后训练和评估。训练在德国和芬兰的基础设施上运行。该设计面向欧盟通用人工智能行为准则、欧盟人工智能法案和 GDPR。Aleph Alpha 是该准则的签署方，其数据管道在训练前会脱敏个人数据。
架构：稀疏专家与混合注意力
Kolibri 堆叠了 50 个 transformer 块，模型宽度为 2,560。每个 MoE 层使用 sigmoid 路由器对所有 384 个路由专家进行打分，将每个 token 发送到前 6 个专家，并始终运行 1 个共享专家。专家负载通过 Exact Quantile Balancing 和 Load-Error Injection 进行平衡。
注意力使用分组查询注意力，包含 48 个查询头和 4 个 KV 头。每第五个块使用不带位置编码的完整注意力。其余 40 个块对前 512 个 token 使用带 RoPE 的滑动窗口注意力。滑动窗口层持有固定大小的 KV 缓存，因此只有 10 层会随上下文长度增长。在同等计算量下，Aleph Alpha 团队报告称该混合方案支持的序列长度是完整注意力模型的 4 倍。
为德语构建的分词器
128,000 token 的词表使用 UniBPE 训练，它像 BPE 一样构建合并，但用 Unigram 损失对每次合并打分。在德语文本上，它达到每 token 4.90 字节，而 GPT-5 分词器为 4.35。这意味着在德语网页文本上 token 数减少 11.2%。在英语中，Kolibri 达到每 token 4.58 字节，而 GPT-5 为 4.67。
训练：24T Token，然后 SFT 和 RL
预训练在 768 块 NVIDIA B200 GPU 上覆盖了 20T token，随后在 65,536 序列长度下进行了 3.44T 中期训练 token。之后一个 201B token 的长上下文阶段在 262,144 token 序列上训练。Aleph Alpha 添加了超过 2T 从网络整理或合成生成的德语 token。后训练结合了监督微调，与 MergeMix 混合，并在超过 120 万个内部任务上进行强化学习。Merlin-Arthur 协议训练模型在检索到的上下文不支持答案时弃答。
交互式讲解：Kolibri 如何工作
基准测试
Aleph Alpha 团队用相同的 eval-framework 设置评估了每个模型。在英语中，Kolibri 领先 GPQA Diamond（84.3）、AIME 2025（96.9）和 AIME 2026（96.0）。它在英语智能体平均分上与 Qwen3.5 35B-A3B 并列，为 63.4。它在 BFCL v4 上落后，得分为 61.4，而 Qwen3.5 为 70.5。稠密的 Qwen3.8 27B 总体得分更高（英语 80.2，德语 79.9），但每个 token 激活的参数约多 8 倍。与其内部前代 Kolibri Origin 相比，Kolibri 每块 GPU 解码的文本量约多 2.7 倍，同时在英语上得分高 21.4 分。
Kolibri 与最接近的竞争对手
FeatureKolibri-1Qwen3.6 35B-A3BNemotron 3 SuperMistral Small 4DeveloperAleph Alpha (Germany)Alibaba QwenNVIDIAMistral AI (France)Total / active params78.1B / 3.46B~35B / 3B120B / 12B119B / 6.5BArchitectureMoE, sliding-window + full attentionMoE, Gated DeltaNet hybridMamba-2 + MoE + attentionMoEMax context1,048,576 tokens262,144 native, ~1M with YaRN1M tokens256k tokensReasoning controlnone / low / medium / highThinking on / offOn / off, low-effort modenone / highLicenseApache 2.0Apache 2.0NVIDIA Nemotron Open Model LicenseApache 2.0Overall score (EN / DE)75.5 / 70.871.4 / 67.373.0 / 67.963.1 / 61.4Agentic avg (EN)63.462.154.940.7Industry RAG avg (DE)67.565.857.653.4Code avg (EN)89.387.788.382.0
规格：Kolibri-1、Qwen3.6-35B-A3B、Nemotron 3 Super 和 Mistral Small 4 的模型卡。
如何部署 Kolibri
安装 aleph-alpha-inference 包，然后用 vLLM 提供服务：
复制代码已复制使用其他浏览器
pip install 'aleph-alpha-inference>=1'
vllm serve Aleph-Alpha/Kolibri-1 --kv-cache-dtype fp8 \
--reasoning-parser kolibri1 --tool-call-parser kolibri1 \
--enable-auto-tool-choice
默认上下文为 262,144 tokens。传入 --max-model-len 1048576 并覆盖 max_position_embeddings 以启用完整的 1M 窗口。通过 chat_template_kwargs 设置 reasoning_effort。Aleph Alpha 推荐 temperature 1.0、top-p 0.97 和 top-k 128。
关键要点
总计 78.1B，激活 3.46B：每个 token 使用 384 个路由专家中的 6 个，外加 1 个共享专家。
40 个滑动窗口层和 10 个全注意力层让 1M token 的上下文变得可负担。
在 24T tokens 上训练，其中德语占比超过 20%。
在 Aleph Alpha 对比的 12 个 MoE 模型中，英文（75.5）和德文（70.8）的 Overall 得分均排名第一。
Apache 2.0 FP8 权重，可通过 vLLM 在单张 B200 或 H200 上提供服务。
查看 Model Weights 和 Technical Report。所有功劳归于该项目的研究者。另外，欢迎在 Twitter 上关注我们，别忘了加入我们拥有 150k+ 成员的 ML SubReddit 并订阅我们的 Newsletter。等等！你在 Telegram 上吗？现在你也可以在 Telegram 上加入我们了。
需要与我们合作推广你的 GitHub Repo 或 Hugging Face Page 或产品发布或网络研讨会等？联系我们
文章 Aleph Alpha Releases Kolibri: A 78.1B Open-Weight English-German MoE Model With Only 3.46B Active Parameters 首次发布于 MarkTechPost。