ElevenLabs 于周一发布了两款新的语音模型,名为 ElevenLabs v4 和 v4 Turbo,提供更强的表达控制、面向语音智能体的更低延迟,并支持超过 90 种语言。
该公司去年发布了 v3 模型,并在今年早些时候于华沙举行的一场活动上预告了该模型。对于 v4 代模型,ElevenLabs 采用了新的架构,可实现更好的控制和更快的克隆。该公司表示,借助 v4,用户只需 10 秒音频即可克隆一个声音。
在创意方面,该模型在更长的文本片段中能更好地处理声音身份。它在朗读时还会记住文本的上下文,以改变表达方式。ElevenLabs 在 v3 中引入了内联标签来定义表达,并在 v4 中扩展了这些标签,让用户可以堆叠多个标签,并让模型遵循这一顺序。
上一版本支持 70 种语言,而 ElevenLabs 努力在新版本中将这一数字提升到 90 种语言。这家初创公司表示,它在日语、巴西葡萄牙语、普通话和粤语中观察到了最大的质量提升。
ElevenLabs 在过去一年中迅速扩大了其企业呼叫业务规模,其中超过55% 的业务来自大型公司。该公司表示,新模型适合语音智能体,因为新版本具有更低的延迟,可实现更流畅的对话。此外,v4 可以在其背后的 LLM 开始生成答案时立即开始生成音频。更重要的是,该模型还能以不同方式处理对抗、升级和等待,以更好地解决问题。
语音模型领域的竞争已经加剧,Cartesia、Deepgram、Fish Audio、Boson 和 WellSaid Labs 等初创公司都创建了富有表现力的语音模型。Google 和 OpenAI 等大公司也改进了它们的语音模型。
ElevenLabs 今年早些时候从 Sequoia 融资5 亿美元,在由 Sequoia 领投的一轮融资中,公司估值达到 110 亿美元。已经有传言称将进行后续融资,届时公司估值将达到 220 亿美元。ElevenLabs 的年化收入运行率已从今年年初的约 3.3 亿美元攀升至超过 6 亿美元。该公司在印度、欧洲和巴西等不同市场大举招聘,员工人数已超过 800 人。
在最近接受 TechCrunch 采访时,该公司联合创始人兼 CEO Mati Staniszewski 表示该公司计划进行 IPO“在未来几年内”,但没有承诺具体时间表。
当您通过我们文章中的链接购买时,我们可能会赚取少量佣金。这不会影响我们的编辑独立性。
Ivan 在 TechCrunch 报道全球消费科技动态。他常驻印度,此前曾在 Huffington Post 和 The Next Web 等媒体工作。
您可以通过发送电子邮件至以下地址联系 Ivan 或核实其联系信息im@ivanmehta.com或通过 Signal 上的加密消息联系 ivan.42。