Sarvam AI 发布了 Saaras V4,这是其语音识别模型的最新一代。它覆盖所有 22 种印度法定语言以及英语,现在还包含全球英语口音。Sarvam 报告称在所有 22 种语言上均达到最先进的准确率。

它可以部署吗?可以,今天即可通过 Sarvam 的 API 使用,调用方式为 model="saaras:v4"。权重未公开,且 Sarvam 的 SageMaker 自托管文档目前仅涵盖 Saaras v3。

Saaras V4 内部有什么

Saaras V4 是一个编码器-解码器系统。音频编码器将波形转换为携带语音和声学细节的嵌入。随后,一个时间下采样适配器缩短该序列,并将其投影到语言模型的嵌入空间。这使长录音保持在解码器的上下文预算之内。

解码器是 Sarvam-3B,一个 3B 参数的混合状态空间语言模型,由内部从零训练。它同时读取音频特征和文本提示。然后自回归地输出转录文本,将每个 token 反馈作为下一个 token 的输入。

基准测试结果

英语:Sarvam 评估了 7 个英语数据集。其中六个来自 Hugging Face 的 Open ASR Leaderboard:AMI、GigaSpeech、LibriSpeech clean、LibriSpeech other、SPGISpeech 和 VoxPopuli。第七个是 AI4Bharat 的印度口音数据集 Svarah。评分遵循该排行榜的归一化代码。在 Sarvam 基准测试的模型中,Saaras V4 取得了最低的平均 WER。

印度语言:在 Vistaar 上,Sarvam 报告了 10 种印度语言的结果,同时使用 WER 和 LLM-WER。LLM-WER 增加了语义检查。它将真正的语义错误与印度文字中常见的无害拼写或格式变体区分开来。

嘈杂音频:在 Kathbath Noisy 上,以 LLM-WER 衡量,Sarvam 称 Saaras V4 的错误率不到 Deepgram Nova-3 和 GPT-4o Transcribe 的一半。该数据集包含压缩、削波和背景音较重的录音。

语言识别:在经核验的 IndicVoices 话语上,前 10 种印度语言的语言识别错误率为 2.9%。在所有 22 种语言上为 5.22%。

需要注意的是,上述所有数字均为厂商报告。独立复现尚未发表。

1 个模型,5 种输出模式

同一段音频可以返回 5 种表示,通过 mode 参数选择:

transcribe(默认):使用本地文字,数字和日期已规范化。

verbatim:逐字保留所说内容,保留填充词和口语数字。

codemix:使用本地文字,英文单词保留为英文。

translit:整段话语用拉丁字母转写。

translate:英文翻译,数字已规范化。

Sarvam 的论点很简单。在模型内部处理这些内容,可以省去可能累积误差的后处理步骤。

关键术语提示(Keyterm Prompting)

关键术语提示是 V4 的新功能,仅适用于 saaras:v4。你在 keyterms 下传入一个 JSON 列表,最多 50 个术语,每个术语 64 个字符。关键术语会偏向识别结果;它们并不保证输出。当 PhonePe 这样的品牌必须保留拉丁字母时,请使用 codemix 模式。

在 IndicContextEval(论文,Interspeech 2026)上,Saaras V4 在 L5 关键术语提示设置下报告了 16.03% 的 WER。Sarvam 称这是该基准测试上的最低分。

流式、长音频与定价

流式:WebSocket,支持部分结果,首 token 时间低于 150 ms。

REST:对最长 30 秒的片段进行同步转录。

批处理:异步任务,每个文件最长 2 小时,可选说话人分离。

SDK:Python 3.9+ 和 Node.js 18+,外加 LiveKit Agents、Pipecat 和 Vercel AI SDK 集成。

价格:Sarvam 将语音转文字定价为实时、流式和批处理每小时 ₹30,带说话人分离每小时 ₹45。

Saaras v3 仍是默认模型。V4 使用相同的请求结构,因此切换只需改 1 行。

Saaras V4 与最接近的竞品对比

以下是 Sarvam 用来对比的 3 个系统。数据来自各厂商的公开文档和定价页面,核查于 2026 年 9 月 26 日。

FeatureSarvam Saaras V4Deepgram Nova-3ElevenLabs Scribe v2OpenAI GPT-4o Transcribe印度官方语言(22 种中的)221114未按语言列出总语言数23(22 种印度语言 + 英语)45+90+多语言关键术语偏置最多 50 个术语是,付费附加组件最多 1,000 个(批处理),50 个(实时),付费附加组件自由文本提示内置输出模式5 种(transcribe、verbatim、codemix、translit、translate)转录加 Smart FormattingVerbatim 或 no_verbatimTranscript实时流式WebSocket,TTFT 低于 150 ms(供应商声称)是(WebSocket)Scribe v2 Realtime,约 150 ms文件流式;通过 Realtime API 实时说话人分离批处理 API是最多 32 位说话人独立的 gpt-4o-transcribe-diarize 模型标价₹30/小时$0.0052/分钟(多语言,预录制)$0.22/小时(批处理)约 $0.006/分钟自托管V4 尚不支持(v3 在 SageMaker 上)是云 API云 API

关键要点

Saaras V4 在 1 个模型中覆盖全部 22 种印度语言以及全球英语。

一个从零训练的 3B 混合状态空间解码器位于音频编码器之后。

关键术语提示最多接受 50 个术语,并在 IndicContextEval L5 上取得 16.03% WER。

5 种输出模式和低于 150 ms 的流式 TTFT 来自同一个模型。

目前仅提供 API,价格为每小时 ₹30;自托管文档仍只覆盖 v3。

查看 Technical Details。所有功劳归于本项目的研究者。也欢迎在 Twitter 上关注我们,别忘了加入我们拥有 150k+ 成员的 ML SubReddit 并订阅我们的 Newsletter。等等!你在 Telegram 上吗?现在你也可以在 Telegram 上加入我们了。

需要与我们合作推广你的 GitHub Repo 或 Hugging Face Page 或产品发布或网络研讨会等?联系我们

文章 Sarvam AI Releases Saaras V4: A Speech-to-Text Model for All 22 Indian Languages and Global English 首次发表于 MarkTechPost。