IBM 发布了 Granite Speech 5.0 2B，这是一个用于转录和翻译的新开源语音语言模型。Granite Speech 5.0 2B 是 IBM 推出的 2B 参数模型，可将 6 种语言的语音转换为文本。它以 Apache 2.0 许可发布。IBM 还更新了 2 个现有模型：面向边缘的 Turbo CTC 和面向说话人分离的 4.1 2B Plus。对开发者而言，此次发布涵盖准确转录、快速的设备端转录以及带说话人归属的转录。

TL;DR

规模：2B 参数，稠密模型。LLM 主干使用 YaRN 扩展至 16k 位置。IBM 建议音频片段最长约 2 分钟。

运行方式：通过 Transformers 或 vLLM 在 GPU 上运行，通过 mlx-audio 在 Apple Silicon 上运行，通过 llama.cpp GGUF 在本地 CPU/Mac 上运行（推荐 Q8_0）。

性能：在 Open ASR Leaderboard 上位列第 2 的开源权重模型，英语平均 WER 为 5.68%。

最佳：LibriSpeech Clean 上 WER 为 0.99%。

最差：在该排行榜的私有对话集上 WER 为 13.79%。

Granite Speech 5.0 2B 如何工作？

根据模型卡，该模型包含 3 个部分。一个由 16 个 Conformer 块组成的语音编码器使用 CTC 训练。它在 4 秒音频块上使用块注意力。

随后，一个 2 层窗口 q-former 对声学嵌入进行投影和降采样。总降采样倍率为 10x，因此 LLM 看到的嵌入频率为 10 Hz。

LLM 是 granite-4.0-1b-base 的一个中间检查点。IBM 使用 YaRN 将其扩展至 16k 位置，并用 LoRA 适配器对其进行了微调。

训练使用了 390,000 小时的公开音频以及合成数据。合成数据集针对日语 ASR、关键词偏置和翻译。训练在 8 块 H100 GPU 上耗时 40 天。

与 Granite Speech 4.1 2B 相比有什么新变化？

语言 ID 提示：在提示中指定输入语言以引导转录。

关键词列表最多 2,000 个词条：使输出偏向产品名、人名和缩写。

按需输出标点和大小写：各测试集上的大小写 F1 从 90.16 到 99.51。

鲁棒性：更好地处理噪声、混响和远距离麦克风。

Granite Speech 5.0 2B 在基准测试中表现如何？

在 Open ASR Leaderboard 上，IBM 的图表显示平均英文 WER 为 5.68%。该平均值覆盖 9 个公开测试集和 2 个私有测试集，截至 2026 年 10 月 21 日。只有 Qwen3-ASR-1.7B 得分更好，为 5.40%。

注意存在来源冲突。IBM 的博客报告的是 5.06%。该数字为非官方数据，日期为 10 月 15 日，且仅对公开短格式测试集取平均。

各测试集结果差异很大。该模型在 LibriSpeech Clean 上得分为 0.99%，在 LibriSpeech Other 上为 2.21%。在私有对话测试集上得分为 13.79%。

在噪声场景的 FFASR 排行榜上，它以 14.80% 的平均 WER 在 42 个模型中排名第 4。Qwen3-ASR-1.7B 在该榜上得分为 13.41%。

多语言 CommonVoice WER 方面，葡萄牙语为 2.60%，西班牙语为 3.50%。日语是最弱的语言，为 10.74%。

在翻译方面，X-to-English CoVoST BLEU 在葡萄牙语上达到 53.6，在德语上达到 40.1。English-to-Mandarin 未进行评估。

关键词偏置显示出最明显的增益。在 Earnings-22 上，使用正确的关键词列表时，关键词 F1 从 67.2 升至 90.1。使用混合正确与错误词条的 2,000 词列表时，仍能达到 82.8。

它与其他开源 ASR 模型相比如何？

特性Granite Speech 5.0 2BQwen3-ASR-1.7BCohere Transcribe 03-2026Canary-Qwen-2.5B规模2B2.35B（Hub 计数）2.07B（Hub 计数）2.5B许可证Apache 2.0Apache 2.0Apache 2.0（受限访问）CC-BY-4.0ASR 语言630 + 22 种中文方言14仅英语语音翻译是否未披露未披露否Open ASR 平均 WER（2026 年 10 月 21 日）*5.68%5.40%5.77%5.94%FFASR 平均 WER（2026 年 10 月 18 日）*14.80%13.41%15.03%未披露关键词偏置最多 2,000 词条未披露未披露未披露长音频约 2 分钟分段支持长音频未披露训练时最长 40 秒

*排行榜平均值依据 IBM 模型卡中从 Open ASR 和 FFASR 排行榜绘制的图表。

Turbo CTC 和 4.1 2B Plus 有哪些变化？

Granite Speech 5.0 Turbo CTC 保持其 470M 的体量。它现在可转写 7 种语言，并具备原生标点和大写。IBM 编译了一个 Conformer 块，并在整个技术栈中复用其计算图。这将吞吐量提升至 19,870 RTFx，高于发布时的约 12,600。

更新后的 Granite Speech 4.1 2B Plus 是一次可直接替换的权重更新。平均时间戳偏移从 210.86 降至 98.54。长音频 WER 从 13.53 降至 10.22。偏置关键词 WER 从 11.79 降至 6.48。

开发者如何部署它？

Granite Speech 5.0 2B 可在 Transformers、vLLM、llama.cpp 和 mlx-audio 中运行。对于 GGUF，IBM 推荐 Q8_0。更低比特的量化会在时长超过约 1 分钟的音频上损失准确率。

要点

在 Open ASR Leaderboard 上以 5.68% WER 位列第 2 的开源权重模型。

2B 参数，Apache 2.0，可在 GPU、Mac 和本地 CPU 上运行。

在所有支持的语言中支持 2,000 词的关键词偏置。

Turbo CTC 达到 19,870 RTFx，现已覆盖 7 种语言。

Qwen3-ASR-1.7B 在准确率和嘈杂音频上仍然领先。

查看模型卡、IBM 博客和 Granite Speech 论文。所有功劳归于该项目的研究人员。也欢迎在 Twitter 上关注我们，别忘了加入我们 150k+ 的 ML SubReddit 并订阅我们的 Newsletter。等等！你在 Telegram 上吗？现在你也可以在 Telegram 上加入我们。

需要与我们合作推广你的 GitHub Repo 或 Hugging Face Page 或产品发布或网络研讨会等？联系我们

文章 IBM AI Releases Granite Speech 5.0 2B for Multilingual Transcription and Translation 首发于 MarkTechPost。