Bland 是一家总部位于旧金山的语音 AI 公司,它发布了 Tofu-1,这是一个处于研究预览阶段的全双工语音到语音模型。Tofu-1 语音到语音模型针对来自行驶中的汽车、医院病房和弱信号线路的通话。它边说话边聆听,边交谈边推理。对于电话智能体团队来说,现在一个模型就能处理音频输入和音频输出,中间无需转录文本。你可以通过我们的 GPULeaderboard.com Chrome 扩展查看部署选项和规格。
什么是 Tofu-1?
Tofu-1 是 Bland 推出的全双工语音到语音模型,可在电话通话中以音频形式聆听、推理并回复。它是 Bland 计划推出的语音到语音模型系列中的首个发布版本。
Tofu-1 与级联式语音智能体有何不同?
大多数语音智能体都是级联式的。它们把语音转成文本,传给语言模型,再把回复转回语音。Tofu-1 直接聆听音频,因此语调、犹豫和背景声音都能为模型所用。Bland 尚未公布其内部架构。
音频理解
Bland 在其产品页面上列出了 3 项音频能力:
说话人跟踪:区分不同说话人,并判断每个人在对谁说话。
噪声分离:将人声与哭闹的孩子、电视、高速公路车流、医院对讲机或按键音区分开。
副语言特征:听出犹豫、沮丧和紧迫感。
全双工与边说话边思考
来电者可以在 Tofu-1 说话中途打断或纠正它。在它处理请求时,它会保持对话继续进行。它只在工作完成后才报告结果。它绝不会提前声称任务已完成。
场景生成
由于 Tofu-1 对通话声音进行建模,它也能生成通话声音。这包括第二位说话人、他们周围的房间环境以及线路噪声。
什么是 Bland 的“电视测试”?
电视测试只问一个问题:模型能否在跟随来电者的同时忽略来自另一个场景的语音?电视音频通常比来电者声音更大。Bland 将其电视测试演示标注为示意性内容,而非录制的模型输出。
Tofu-1 与其他全双工模型相比如何?
功能 | Bland Tofu-1 | OpenAI GPT-Live-1 | NVIDIA NemotronLabs VoiceChat 11B | Block Dessa 类型 | 全双工语音到语音 | 全双工语音模型 | 全双工语音到语音 | 全双工语音到语音 参数 | 未披露 | 未披露 | 11B | 未披露 权重 | 闭源 | 闭源 | 开源(OpenMDW 1.1) | 未发布 训练数据 | 数百万小时真实对话 | 未披露 | 约 55 万小时音频加文本 | 仅人类语音,无文本 硬件 | Bland 托管 | OpenAI 托管 | A100、H100、H200、B100、B200、RTX-6000 | MacBook Pro M4 Max 或更高 轮流对话延迟 | 未披露 | 0.798 s(FDB v1) | 448 ms(FDB) | 未披露 工具使用 | 工作时持续说话 | 委托给后端模型 | 实时工具调用,82.5% 工具选择率(FDB v3) | 未披露 访问方式 | 企业研究预览 | API 和 ChatGPT | Hugging Face checkpoint、NVIDIA 容器 | 面向安全研究人员的研预览
竞品数据来自各厂商自己的页面。FDB 结果使用了不同的基准测试版本,不能直接比较。
团队如何访问 Tofu-1?
研究预览访问仅向有限数量的企业开放。Bland 将银行、医疗、保险和政府列为目标行业。注册表单要求填写每月通话量,从 1,000 以下到 50,000+。
要点
Tofu-1 是 Bland 的首个全双工语音到语音模型,专为嘈杂通话打造。
它直接听音频:说话人、背景噪音和来电者情绪。
唯一的数字是自报的:超过 92% 的人在筛选中无法识别出它。
目前还没有规模、延迟、定价或基准测试;竞争对手已公布延迟和工具使用得分。
访问方式是封闭的企业预览,Bland 称将于 1 月开放。
查看 Tofu-1 产品页面、X 上的发布帖以及研究预览注册。你可以通过我们的 GPULeaderboard.com Chrome 扩展在此查看部署选项和规格。
另外,欢迎在 Twitter 上关注我们,别忘了加入我们 15 万+ 的 ML SubReddit 并订阅我们的新闻通讯。等等!你在 Telegram 上吗?现在你也可以在 Telegram 上加入我们。
需要与我们合作推广你的 GitHub 仓库、Hugging Face 页面、产品发布、网络研讨会等?联系我们
文章 Bland Launches Tofu-1, a Full-Duplex Speech-to-Speech Model for Calls 首次出现在 MarkTechPost 上。