Fish Audio 发布了 Live 3,这是一款为实时语音智能体构建的全双工语音模型。Fish Audio Live 3 全双工语音模型在说话的同时保持聆听。这让来电者可以停顿、说“嗯哼”,或改变主意,而不会中断通话。对开发者而言,卖点很简单:轮流发言从手工调校的流水线规则,转移到了语音模型内部。

TL;DR

产品:一款为实时语音智能体构建的全双工语音模型

运行于:托管的 Fish Agent Platform 和 Fish Audio API;面向企业提供本地部署。

性能:Fish Audio 展示了行为演示,但未公布基准测试分数。

最佳表现:对于“嗯哼”这类简短回应,可在短短 186 ms 内决定作出响应。

什么是 Fish Audio Live 3?

Live 3 是 Fish Audio 的一款全双工语音模型,可以同时聆听和说话。

核心论点是:速度和时机是两个不同的问题。智能体可以回复得很快,却仍在错误的时机开口。“你们几点开门?”之后的停顿通常意味着一个轮次结束。电话号码中间的停顿则不是。

Live 3 如何处理轮流发言?

大多数语音智能体将识别、推理、语音生成和轮流发言拆分到不同的流水线阶段。Fish Audio 团队表示,Live 3 将会话时机移入了语音模型。它基于真实人类对话训练,学习何时确认、等待、回应或停止。

他们将旧方法描述为堆叠“更多规则和更多阈值”。Fish Audio 则希望让模型从数据中学习时机。独立的推理层仍然承载智能体的指令和工具。

Fish Audio 团队演示了 3 种行为:

确认而不接管。来电者读出“415… 555… 0132”。Live 3 可能会在片段之间说“好的,415”,然后等待。

区分附和与打断。来电者说“是的”会让智能体继续。“等等,其实我只需要周四”则会让它停下。

在纠正中等待。对于“两个披萨……不,三个”,Live 3 会等待,而不是记下错误的订单。

Live 3 有多快?

Fish Audio 表示,Live 3 最快可在 186 ms 内决定做出回应。该数字涵盖的是诸如“mm-hmm”“okay”以及快速确认这类简短反应。完整回答是并行准备的。

这是小型反应的下限,而非完整回复的首个音频时间。Fish Audio 尚未公布延迟分布。第三方追踪机构 OrcaRouter 也表示,截至 11 月 11 日,Live 3 尚无 Artificial Analysis 评分。

开发者如何部署 Live 3?

Live 3 可在 Fish Agent Platform、通过 Fish Audio API 以及面向企业的本地部署中使用。Agents 平台处于公开测试阶段。

Agents 在 /v1/agent/* 下提供 REST 接口。浏览器会话通过 @fishaudio/agent-client 或 @fishaudio/agent-react 运行。Agents 可以接听电话号码、通过 WebRTC 连接,或嵌入网站小组件。Live 3 页面列出了 2,000,000+ 个音色库声音,包括克隆音色。

一份待处理的文档拉取请求显示,Live 3 通过 voice.engine: "live3" 启用。启用后,语音识别固定为 fish_audio:transcribe-stream-1。Fish Audio 当前的文档称,该模型还会将重叠归类为打断或确认。

Live 3 的价格是多少?

Live 3 页面列出每分钟 $0.035,较 $0.07 下降 50%,有效期至 2026 年 12 月 31 日。页面称该方案包含 Live 3。定价文档称,$0.07 的标价涵盖 STT、TTS、基础 LLM、知识检索和工具调用。

电话通话每分钟额外加收 $0.01。一个号码每月费用为 $1.20。新账户可获得 $5 试用余额。

Live 3 与其他全双工语音模型相比如何?

指标Fish Audio Live 3OpenAI GPT-Live-1Eleven Realtime v1 MaxGemini 3.8 Live设计全双工,时序在语音模型中学习全双工,将推理委托给后端模型级联式,端到端调优实时对话模型,在后台运行工具语言仅英语未披露90+97发布时间186 ms 最低(短反应)帖子正文中未披露平均首次音频时间 0.57 s未披露轮次切换得分未公布+30 pp Full Duplex Bench 对比 GPT-Realtime-2.1(自报)94.1% Full-Duplex-Bench未披露推理 / 智能体得分未公布在 Tau3 上以 GPT-6 Astra(medium)排名第 1 98.8% Big Bench Audio;87.1% 工具任务Extended Thinking:97.7% Big Bench Audio;68.6% τ-Voice价格$0.035/min 促销价,$0.07 标价(含 STT、基础 LLM、TTS)$0.05/min 语音层 + 后端 token会话时间 + token发布帖中未披露部署Agent Platform、API、本地部署API、电话ElevenAgents、Realtime APIGemini API、AI Studio、Gemini Enterprise(预览)

ElevenLabs 的得分来自 Artificial Analysis,由 ElevenLabs 提供。OpenAI 和 Google 的数据为自报。

要点

Live 3 是 Fish Audio 面向电话和网页智能体的全双工语音模型。

它从真实对话中学习轮次切换,而非依赖静音阈值。

短反应最快可在 186 ms 内开始。

智能体在 2026 年 12 月 31 日之前每分钟收费 $0.035,之后为 $0.07。

仅支持英语,且尚未公布基准测试得分。

查看发布帖,在 fish.audio/live3 试用,并查阅 Agents 文档。另外,欢迎在 Twitter 上关注我们,别忘了加入我们 150k+ 的 ML SubReddit 并订阅我们的 Newsletter。等等!你在 Telegram 上吗?现在你也可以在 Telegram 上加入我们。

需要与我们合作推广你的 GitHub Repo 或 Hugging Face Page 或产品发布或网络研讨会等?联系我们

文章 Fish Audio Releases Live 3, a Full-Duplex Voice Model That Reacts in 186 ms 首发于 MarkTechPost。