Elevenlabs 正在发布 Eleven v4,这是一个新的语音模型,能更准确地遵循指令提示,并在长篇制作中保持声音一致。一种新的模型架构也为面向实时语音智能体的 Turbo 变体提供支持。

Eleven v4比其前代更可靠地生成笑声、耳语以及类似摔门的声音。面向语音智能体的 Turbo 变体大约在 150 毫秒内开始产生语音。Eleven v3于一年多前发布,已经支持这些音频标签,但遵循它们的准确度较低。

Elevenlabs interface showing a dialogue script for two speakers, with orange-highlighted tags like warm, long pause, Gong sounds, and nervous laugh in the text, along with settings for voice, model Eleven v4, stability, and similarity.
脚本中的标签让用户可以为每一行设置情绪、停顿和音效。| 图片:Elevenlabs

更高的一致性

Elevenlabs 表示 v4 使用了一种新架构该架构会分析脚本的语气、节奏和上下文。用户可以通过标签或普通句子给出指令,并使用音标拼写来设定人名和技术术语的发音。该公司表示,发音控制现在更加可靠。旁白和角色在整个制作过程中听起来应当保持一致,即使用户多次重新生成单独的行也是如此。

Eleven v4 每次请求最多处理 10,000 个字符,大约十分钟的音频。更长的作品如有声书会使用多个片段,并预期在过渡之间保持节奏和表达一致。在对话中,AI 说话者会回应整个场景的上下文,而不是孤立地表达每一行。

新版本支持超过 90 种语言,高于 v3 的约 70 种。克隆的声音应当能以母语口音说其他语言,而不会随着时间推移漂移回其原始口音。专业声音克隆在 v3 中不受支持后再次可用,而“即时声音克隆”只需要十秒音频。

Turbo 旨在让富有表现力的语音智能体更快

Elevenlabs 还发布了一个更快的 v4 变体,用于实时用途,如客户服务通话或游戏角色。该公司表示,语音智能体开发者此前不得不在速度和表现力之间做出选择,而 v4 Turbo 旨在同时提供两者。

在 Elevenlabs 的测试中,Turbo 在 150 毫秒内开始产生可听见的语音,相比之下 Cartesia Sonic 3.6 为 262 毫秒。OpenAI 的 GPT-4o mini TTS耗时 814 毫秒。Elevenlabs 与其 ElevenAgents 平台一起优化了 Turbo。

Bar chart showing median time to first audible speech, with Eleven v4 Turbo at 150 ms ahead of Cartesia Sonic 3.6 at 262 ms, xAI TTS at 362 ms, Gemini 3.8 Flash-Lite TTS at 685 ms, and OpenAI GPT-4o mini TTS at 814 ms.
在 Elevenlabs 的基准测试中,Eleven v4 Turbo 开始生成语音的速度远快于所测试的竞品模型。| 图片:Elevenlabs

Eleven v4 排名领先于 Cartesia Sonic 3.6 和 Google 的Gemini 3.8 Flash TTS在Artificial Analysis 的 Provider Voice Arena 排行榜上。它在发音基准测试中得分 91.7%,高于 v3 的 85.6%。在 Elevenlabs 的盲测中,约四分之三的听众更偏好 v4,而非来自 Cartesia、Inworld 和 Google 的模型。

Bar chart showing the share of blind head-to-head comparisons won by Eleven v4, with 81 percent against Cartesia Sonic 3.6 and Inworld TTS-2, 72 percent against Gemini 3.8 Flash-Lite TTS, and 65 percent against Gemini 3.8 Flash TTS.
在该公司的盲测中,听众在 65% 至 81% 的对比中将 Eleven v4 评为更具表现力,具体比例取决于竞争对手。| 图片:Elevenlabs

更高质量的语音克隆使 v4 适用于配音,Elevenlabs 宣传其能够在所有支持的语言中使用演员的声音。该公司从声音背后的人那里获得声音授权。配音演员可以在 Elevenlabs 的库中提供经过大量训练的自身声音克隆,并在付费用户使用时赚取收入。Elevenlabs 已经通过一个专门的市场提供对 Michael Caine 等名人声音的访问。

两款模型发布时均附带临时降价

Elevenlabs 的标准API 定价为 v4 每百万字符 80 美元,Turbo 为 40 美元。截至 10 月 12 日,这些价格降至 22 美元和 11 美元。据Elevenlabs称,订阅每月 22 美元的 Creator 计划或更高等级的用户可以在 ElevenCreative 中免费使用 v4 两周。使用量上限为其每月额度的两倍。Artificial Analysis 列出 Sonic 3.6 为每百万字符 49 美元,Gemini 3.8 Flash TTS 为 16.49 美元。

两款模型现已在 ElevenAgents、ElevenCreative 中以及通过 API 提供。据其文档,Elevenlabs 默认将客户数据存储在美国。企业客户可以将数据存储在欧盟、印度或新加坡的隔离环境中,不过部分处理可能发生在所选区域之外。在欧盟,客户可以通过使用不保留数据的模式,将 API 处理保留在该区域内。

Elevenlabs 还发布了其Music 2.5 模型于 9 月中旬,旨在制作更密集、听起来更自然的歌曲。

没有炒作的 AI 资讯——由人工精选

订阅 THE DECODER,享受无广告阅读、每周 AI 新闻通讯、每年六期独家“AI Radar”前沿报告、完整档案访问权限,以及评论区访问权限。

立即订阅