Elevenlabs 正在发布 Eleven v4,这是一个新的语音模型,能更准确地遵循指令提示,并在长篇制作中保持声音一致。一种新的模型架构也为面向实时语音智能体的 Turbo 变体提供支持。
Eleven v4比其前代更可靠地生成笑声、耳语以及类似摔门的声音。面向语音智能体的 Turbo 变体大约在 150 毫秒内开始产生语音。Eleven v3于一年多前发布,已经支持这些音频标签,但遵循它们的准确度较低。

更高的一致性
Elevenlabs 表示 v4 使用了一种新架构该架构会分析脚本的语气、节奏和上下文。用户可以通过标签或普通句子给出指令,并使用音标拼写来设定人名和技术术语的发音。该公司表示,发音控制现在更加可靠。旁白和角色在整个制作过程中听起来应当保持一致,即使用户多次重新生成单独的行也是如此。
Eleven v4 每次请求最多处理 10,000 个字符,大约十分钟的音频。更长的作品如有声书会使用多个片段,并预期在过渡之间保持节奏和表达一致。在对话中,AI 说话者会回应整个场景的上下文,而不是孤立地表达每一行。
新版本支持超过 90 种语言,高于 v3 的约 70 种。克隆的声音应当能以母语口音说其他语言,而不会随着时间推移漂移回其原始口音。专业声音克隆在 v3 中不受支持后再次可用,而“即时声音克隆”只需要十秒音频。
Turbo 旨在让富有表现力的语音智能体更快
Elevenlabs 还发布了一个更快的 v4 变体,用于实时用途,如客户服务通话或游戏角色。该公司表示,语音智能体开发者此前不得不在速度和表现力之间做出选择,而 v4 Turbo 旨在同时提供两者。
在 Elevenlabs 的测试中,Turbo 在 150 毫秒内开始产生可听见的语音,相比之下 Cartesia Sonic 3.6 为 262 毫秒。OpenAI 的 GPT-4o mini TTS耗时 814 毫秒。Elevenlabs 与其 ElevenAgents 平台一起优化了 Turbo。

Eleven v4 排名领先于 Cartesia Sonic 3.6 和 Google 的Gemini 3.8 Flash TTS在Artificial Analysis 的 Provider Voice Arena 排行榜上。它在发音基准测试中得分 91.7%,高于 v3 的 85.6%。在 Elevenlabs 的盲测中,约四分之三的听众更偏好 v4,而非来自 Cartesia、Inworld 和 Google 的模型。

更高质量的语音克隆使 v4 适用于配音,Elevenlabs 宣传其能够在所有支持的语言中使用演员的声音。该公司从声音背后的人那里获得声音授权。配音演员可以在 Elevenlabs 的库中提供经过大量训练的自身声音克隆,并在付费用户使用时赚取收入。Elevenlabs 已经通过一个专门的市场提供对 Michael Caine 等名人声音的访问。
两款模型发布时均附带临时降价
Elevenlabs 的标准API 定价为 v4 每百万字符 80 美元,Turbo 为 40 美元。截至 10 月 12 日,这些价格降至 22 美元和 11 美元。据Elevenlabs称,订阅每月 22 美元的 Creator 计划或更高等级的用户可以在 ElevenCreative 中免费使用 v4 两周。使用量上限为其每月额度的两倍。Artificial Analysis 列出 Sonic 3.6 为每百万字符 49 美元,Gemini 3.8 Flash TTS 为 16.49 美元。
两款模型现已在 ElevenAgents、ElevenCreative 中以及通过 API 提供。据其文档,Elevenlabs 默认将客户数据存储在美国。企业客户可以将数据存储在欧盟、印度或新加坡的隔离环境中,不过部分处理可能发生在所选区域之外。在欧盟,客户可以通过使用不保留数据的模式,将 API 处理保留在该区域内。
Elevenlabs 还发布了其Music 2.5 模型于 9 月中旬,旨在制作更密集、听起来更自然的歌曲。