Nvidia 发布了一款开源语音识别模型，可接受文本指令，该公司称其在多项基准测试中领先。此次发布还包括一个大型训练数据集，以及用于将模型适配到专业领域的工具。
普通的转录文本无法告诉你谁说了什么。它也不会翻译任何内容，也无法正确拼写技术术语。Nemotron 3.5 Transcribe 旨在通过单一模型处理所有这些任务，并且它还能回答关于录音内容的问题。Nvidia 表示，该模型可转录 40 种语言，可在其中 31 种语言与英语之间互译，并能识别 13 种语言中的说话人。它可处理最长一小时的录音。录音中最多可包含八位说话人。
用户通过简单指令控制模型。根据提示词的不同，同一段会议录音可以变成带说话人标签的转录文本、英文翻译，或所做决策的摘要。用户还可以将药物名称等技术术语作为提示传入。模型只应在这些术语确实出现在录音中时才使用它们。
单 GPU 上接近顶级的准确率
该模型拥有 300 亿参数，但每个处理步骤中仅约 40 亿参数处于激活状态。因此，它可在单块 Nvidia GPU 上运行。这涵盖了从紧凑型 DGX Spark 到数据中心硬件的各类设备。Nvidia 表示，该模型在不到三分钟内可处理 100 小时音频，所用设备为一块RTX PRO 6000 Blackwell Server Edition，精度为 NVFP4。
在 Hugging Face 的英文开放 ASR 排行榜上，Transcribe 以 5.33% 的平均词错误率在开源权重模型中排名第一。在 Artificial Analysis 的对比中，其得分为 2.81%。这接近最佳开源模型 Voxtral Small 的 2.77%，但 Transcribe 的激活参数仅约为后者的六分之一。据 Nvidia 称，若干广泛使用的商业语音服务均落后于它。
说话人识别方面的领先幅度最大。VoiceArena 在说话人有时会互相打断的对话上测试了 14 个系统，Transcribe 拿下第一。它漏掉的词也最少，漏词率为 8.32%，而中位数约为 31%。在 David AI 衡量 21 种语言说话人归属的基准测试中，它取得了最低的错误率，以微弱优势领先于 Nvidia 自家专为此任务打造的模型。
一个开放数据集让开发者能针对自己的领域进行训练
除了模型，Nvidia 还发布了 Granary v2 数据集。它包含 48 种语言约 844,000 小时的语音，相比上一版的 25 种语言约 643,000 小时有所增加。每段录音都有多种转写风格。一个版本是逐字转写，保留“uh”这类填充词，数字也拼写出来。另一个版本经过清理，不含填充词，数字用阿拉伯数字而非文字。Nvidia 还分享了构建该数据集所用的工具，开发者可以在自己的录音上运行这些工具。不过该公司表示，该数据集与模型的训练数据并不完全一致。
Nvidia 在印度医生和医学生的录音上测试了有针对性的微调。在完整基准测试中，更精确的提示将错误率从 30.8% 降至 23.8%。微调之后，错误率降至 11.8%。训练数据主要是合成语音。对于模型此前没听过的说话人，Nvidia 另行报告错误率从 22.44% 降至 12.17%，相对提升 45.8%。这使微调后的模型领先于一个开放的医疗语音模型，后者的得分为 13.79%。Nvidia 表示，整个过程在一块 Nvidia GB300 上耗时约 14 个 GPU 小时单块 Nvidia GB300。
专业化是有代价的。在通用英语语音上，错误率略有上升，而医疗模型在品牌药名上保持了更高的准确率。Nvidia 建议在构建定制版本时，至少留出 100 条真实、经过验证的录音用于测试。
基础模型也有局限。功能因语言而异，Nvidia 表示音频问答功能是用英语训练的。该模型也仅针对录制音频构建。Nvidia 表示用户应抽查人名、说话人变化和答案。
该模型和数据集已在 Hugging Face 上发布。还有一个演示可以试用。对于微调，Nvidia 提供了指南和一个扩展，可让 AI 编程助手运行训练工作流。
Nvidia 直到最近才在 9 月推出Nemotron 3 Diarization，一个专用的说话人识别模型。它最多能区分八位说话人，即使在实时对话中也是如此，但实际转写需要像 Nvidia 的 Parakeet 这样的独立模型。Nemotron 3.5 Transcribe 将两项工作合二为一，并增加了翻译和音频理解功能。不过，它不支持实时处理。Nvidia 此前已在其多模态 Nemotron 3 Nano Omni中使用了 Granary 数据集。
竞争对手正在设定不同的优先级。Mistral 的Voxtral 系列同样结合了转写和音频理解。随着最近发布的 Voxtral 3，该公司正专注于实时语音智能体。