阿里巴巴的 Qwen 团队发布了 Qwen-Audio-3.1，一个包含 5 个模型的音频技术栈，覆盖 ASR、TTS 和实时交互。主模型是 Qwen-Audio-3.1-Realtime，一个为可调用工具的语音智能体打造的全双工语音模型。Qwen 还降价了：Realtime 约降 85%，TTS 约降 70%，ASR 最高降 95%。
可以部署吗？可以，作为托管 API 部署。qwen-audio-3.1-realtime-plus 已通过 WebSocket 在 QwenCloud 上线。未公布开源权重。
QwenCloud 上提供的内容
模型页面将文本和音频同时列为输入和输出。上下文窗口为 262K tokens，最大输入 245K，最大输出 16K。默认限制为每分钟 60 次请求和 100K tokens。定价为每 1M 音频输入 tokens 6.4 美元，每 1M 文本输入 tokens 0.8 美元。文本和音频输出为每 1M tokens 24 美元，其中输出文本不收费。关键功能包括函数调用、网页搜索、结构化输出、上下文缓存和微调。
配套模型 Qwen-Audio-3.1-ASR-Flash-Filetrans 面向离线长音频转写。它支持热词、说话人分离、标点以及多语言加中文方言识别。其价格为每 1M tokens 输入 0.15 美元、输出 0.47 美元。
架构：1 个语音背后有 2 个模型
该系统运行 2 个模型，采用相同的 Audio Encoder 和 LLM 设计。一个全双工决策模型预测是继续听、说话、停止还是恢复。一个语音转文本模型将回复内容写成文本。随后一个上下文感知的语音渲染器将该文本转换为流式语音。它以对话历史、语音线索和声学上下文为条件。
训练分为 3 层：Think、Act 和 Speak and Coordinate。
Think：M²-OPD
Core-Cocktail SFT 使用百万小时规模的配对数据，将音频模型重新锚定到其源文本 LLM。随后进行多模态 OPD。一个 Text Teacher 和一个冻结的 Audio Reference 对学生自身轨迹的每个 token 打分。这是同策略蒸馏，而不是模仿预先写好的答案。随后用 GRPO 训练共情、语用意图和声学场景领域的专家模型。Multi-Teacher OPD 将它们合并为 1 个可部署模型。
Act：可执行环境
每个训练领域都捆绑了一个工具池、一个有状态的 JSON 数据库和一条自然语言业务策略。领域从开源工具和 MCP 服务器定义中播种。每个任务定义 3 种结果中的 1 种：写入、有正当理由的拒绝，或不受支持的请求。评分先检查终态，再检查允许的写入，最后检查行为断言。流畅的回复无法挽救失败的状态检查。
GRPO 在对话、里程碑和轮次级别接收奖励。搜索训练用 rquery=qmin(1,nrefnpred)r_{\text{query}} = q \min \left( 1, \frac{n_{\text{ref}}}{n_{\text{pred}}} \right) 惩罚冗余查询。每次搜索调用的平均查询数从 4.37 降至 1.05。触发 F1 从 60.87% 下滑至 58.61%。
说话与协调
这一层决定是否说话、何时说话以及如何说话。在 Full-Duplex-Bench v1.5 上，对正在与他人交谈的人做出的回复从 0.13 降至 0.03。在 v3.0 上，填充词率从 0.7590 降至 0.2960。存在权衡。在被打断后，不必要的恢复率从 0.035 升至 0.130。打断停止延迟为 1.116 秒，而 GPT-Realtime-2 为 0.383 秒。
交互式讲解器
探索思考、行动、说话循环、双工决策、一个带评分的训练回合以及搜索奖励。
基准测试一览
相比 3.0，Audio MultiChallenge 从 47.12 升至 52.21。14 种语言的 BBA 平均值从 81.7% 攀升至 88.1%。FLEURS WER 从 9.01 降至 3.98。τ-Voice 数据使用半双工语音转文本适配。它们与官方全双工结果不可比。GPT-Realtime-2 仍在 50 轮人类红队研究中领先，为 96.00% 对 92.00%。
对比情况
功能Qwen-Audio-3.1-Realtime-PlusOpenAI GPT-Realtime-2Google Gemini 3.8 Live输入文本、音频文本、音频、图像文本、图像、音频、视频输出文本、音频文本、音频文本和音频上下文 / 输入限制262K128K131,072最大输出16K32K65,536函数调用是是是（默认异步）内置网络搜索是未列出Google Search grounding推理思考模式，最多 2K 推理可配置努力交错推理音频输入 / 1M tokens$6.4$32$3.00音频输出 / 1M tokens$24（文本和音频）$64$12.00开源权重否否否来源QwenCloudOpenAI docs模型页面、定价
价格为 2026 年 9 月 28 日核对的标价。Token 费率无法直接比较，因为各提供商对音频的分词方式不同。
关键要点
在 τ-Voice 适配任务上的任务成功率从 3.0 版本的 78.4% 提升至 82.0%。
在 Full-Duplex-Bench v1.5 上，对背景语音的回复率从 73.0% 降至 13.0%。
262K 上下文窗口，支持函数调用和网页搜索，音频输入 token 价格为每 100 万 $6.4。
工具使用通过 GRPO 在自演化可执行环境中进行训练。
多轮攻击成功率降至 26.0%（中文）和 23.5%（英文）。
常见问题
什么是 Qwen-Audio-3.1-Realtime？这是阿里巴巴 Qwen 团队推出的全双工语音模型，面向能够推理、调用工具并管理轮次转换的语音智能体。
我可以自行部署吗？未公布开源权重。可通过 QwenCloud API 以 qwen-audio-3.1-realtime-plus 访问。
费用是多少？音频输入 token 每 100 万 $6.4，文本和音频输出 token 每 100 万 $24。
查看论文、Qwen-Audio-3.1-ASR 和 Qwen-Audio-3.1-Realtime。所有功劳归于该项目的研究人员。也欢迎在 Twitter 上关注我们，别忘了加入我们拥有 15 万+ 成员的 ML SubReddit 并订阅我们的 Newsletter。等等！你在 Telegram 上吗？现在你也可以在 Telegram 上加入我们了。
需要与我们合作推广你的 GitHub 仓库、Hugging Face 页面、产品发布或网络研讨会等？联系我们
文章 Alibaba Qwen Releases Qwen-Audio-3.1-Realtime: A Full-Duplex Voice Model Trained to Think, Act, and Decide When to Speak 首发于 MarkTechPost。