从今天开始,开发者可以运行Qwen3 TTS在 Together AI 上,首个音频最快只需 97ms。
Qwen3 TTS 是一个开源文本转语音模型,它将“谁在说话”与“如何说话”分离。你从九个预设音色中选择一个,该音色保持不变,而你可以用自然语言指令改变其表达方式,例如“兴奋而欢快”,或将其切换于 10 种语言之间。
Together AI 的推理团队针对 Qwen3 TTS 调优了服务栈,使语音能够快速开始流式传输,足以支持实时对话。该模型现已在 Together Serverless Inference 和专用端点上提供。
告诉它如何说出这句话
同一句话可以听起来是好消息,也可以是坏消息,取决于它怎么说;使用 Qwen3 TTS,你可以用几个词描述表达方式来决定是哪一种。这里,该音色aiden将同一句话读了三次。各片段之间音色和文字不变,只有指令改变。
aiden · 兴奋而欢快
0:00
“嗯,这可改变了一切。”
aiden · 愤怒而不耐烦
0:00
“嗯,这可改变了一切。”
aiden · 悲伤而失望
0:00
“嗯,这可改变了一切。”
指令控制表达方式,而音色保持你选择的那一个。当你切换语言时,也可以继续使用同一个音色。
在 10 种语言中保持同一个音色
每个预设音色都能说全部 10 种支持的语言:中文、英语、日语、韩语、德语、法语、俄语、葡萄牙语、西班牙语和意大利语。这让产品在进入新市场时能够保持同一个音色。这里,aiden一个英语音色用四种语言朗读同一条订单更新。
aiden · 英语 (en)
0:00
“Your order has shipped and should arrive on Thursday.”
aiden · 西班牙语 (es)
0:00
“Tu pedido ha sido enviado y debería llegar el jueves.”
aiden · 德语 (de)
0:00
“Ihre Bestellung wurde versandt und sollte am Donnerstag ankommen.”
aiden · 日语 (ja)
0:00
“ご注文の商品は発送済みで、木曜日に到着する予定です。”
用你选择的语言提供文本;上面四个片段使用了分别翻译的文本。每个音色也有其母语,Qwen 建议使用音色的母语以获得最佳质量,因此在确定预设之前,请先试听你的应用所需的语言。
在 VoiceFinder 中选择音色
选择预设最快的方法是听每个预设朗读你自己的台词。VoiceFinder列出 Qwen3 TTS 的声音,播放每个声音的示例,并用其中任意一个声音朗读你输入的文本。
- 打开voicefinder.together.ai,在模型菜单中选择
Qwen/Qwen3-TTS-12Hz-1.7B并选择Find voices。 - 选择Preview以播放某个声音的示例。
- 选择Try custom text,输入最多 500 个字符,然后选择Generate即可听到该声音朗读你的文本。换另一个声音重复此操作,以便在同一段文本上比较它们。
- 选择Show code以获取该声音在 Python、TypeScript 或 cURL 中的请求。
九个预设声音,以及各自的原生语言和 Qwen 的描述:
| 声音 | 原生语言 | 描述 |
|---|---|---|
| aiden | 英语 | 阳光的美国男声,中频清晰 |
| ryan | 英语 | 富有动感的男声,节奏感强 |
| vivian | 中文 | 明亮、略带锋芒的年轻女声 |
| serena | 中文 | 温暖、温柔的年轻女声 |
| uncle_fu | 中文 | 老练的男声,音色低沉醇厚 |
| dylan | 中文,北京话 | 年轻的北京男声,音色清晰自然 |
| eric | 中文,四川话 | 活泼的成都男声,略带沙哑的明亮感 |
| ono_anna | 日语 | 俏皮的日本女声,音色轻盈灵动 |
| sohee | 韩语 | 温暖的韩国女声,情感丰富 |
生成语音
你需要 Together Python SDK(pip install together)和一个TOGETHER_API_KEY。此请求同时设置声音、语言和指令,并生成对上面那句话的兴奋朗读。
from together import Together
client = Together()
response = client.audio.speech.create(
model="Qwen/Qwen3-TTS-12Hz-1.7B",
input="Well, that changes everything.",
voice="aiden", # who speaks
language="en", # the language of the text
extra_body={"instructions": "excited and upbeat"}, # how to say it
response_format="mp3",
)
response.write_to_file("excited.mp3")Python SDK 将instructions传递到extra_body。如果指令似乎没有改变朗读效果,请检查该字段是否拼写为instructions,因为拼写错误的字段会被跳过且不报错。
此模型的参数:
| 参数 | 应发送的内容 |
|---|---|
| voice | 九个声音名称之一,小写 |
| instructions | 对朗读方式的简短描述,例如excited and upbeat。可选 |
| language | 输入文本的 ISO 639-1 代码,例如en、zh、ja或ko |
| response_format | wav、mp3、raw或mulaw。opus、aac和flac不受支持 |
| sample_rate | 24000(默认)或8000 |
词级时间戳(alignment=word)不受 Qwen3 TTS 支持。
为语音智能体流式传输音频
在语音智能体中,语音必须在整个回复合成完成之前就开始播放。在 Together AI 上,Qwen3 TTS 最快可在 97ms 内返回首个音频,并且支持两种流式传输方式。选择哪一种取决于你在发起请求时是否已拥有完整文本。
当你拥有完整文本时:通过 HTTP 流式传输
使用stream=True和response_format="raw"时,语音 API 会在音频生成过程中返回服务器发送事件。每个conversation.item.audio_output.delta事件携带一个 base64 编码的音频块。该脚本接收流、解码每个音频块并将音频保存到文件。
import base64
import json
from together import Together
client = Together()
with client.audio.speech.with_streaming_response.create(
model="Qwen/Qwen3-TTS-12Hz-1.7B",
input="Your order has shipped and should arrive on Thursday.",
voice="aiden",
language="en",
extra_body={"instructions": "excited and upbeat"},
stream=True,
response_format="raw",
response_encoding="pcm_s16le",
) as response, open("order-update.pcm", "wb") as audio:
for line in response.iter_lines():
if not line.startswith("data: {"):
continue
event = json.loads(line[len("data: "):])
if event.get("type") == "conversation.item.audio_output.delta":
# Each event carries a base64 chunk of 16-bit PCM at 24 kHz
audio.write(base64.b64decode(event["delta"]))输出为 24 kHz 的 16 位单声道 PCM,指令对流式请求的适用方式与对完整请求相同。要边接收边播放语音,请将每个解码后的音频块发送到音频输出,而不是保存到文件。
当文本仍在生成时:WebSocket
如果文本来自语言模型并逐 token 产生,WebSocket 端点允许你分片发送文本。你打开一个连接,在文本可用时追加,并在输入完成时提交,服务器会在获得完整句子后立即合成每个句子。该脚本分两片发送订单更新并保存返回的音频。它需要websockets包,版本 14 或更高(pip install websockets)。
import asyncio
import base64
import json
import os
import websockets
URL = (
"wss://api.together.ai/v1/audio/speech/websocket"
"?model=Qwen/Qwen3-TTS-12Hz-1.7B&voice=aiden&language=en"
"&response_format=pcm&sample_rate=24000"
)
async def main():
headers = {"Authorization": f"Bearer {os.environ['TOGETHER_API_KEY']}"}
async with websockets.connect(URL, additional_headers=headers) as ws:
# Append text as it becomes available, then commit once the input is complete
await ws.send(json.dumps({"type": "input_text_buffer.append", "text": "Your order has shipped. "}))
await ws.send(json.dumps({"type": "input_text_buffer.append", "text": "It should arrive on Thursday."}))
await ws.send(json.dumps({"type": "input_text_buffer.commit"}))
with open("order-update.pcm", "wb") as audio:
async for message in ws:
event = json.loads(message)
if event["type"] == "conversation.item.audio_output.delta":
# Each event carries a base64 chunk of 16-bit PCM at 24 kHz
audio.write(base64.b64decode(event["delta"]))
elif event["type"] == "conversation.item.audio_output.done":
break
elif event["type"] == "conversation.item.tts.failed":
raise RuntimeError(event["error"])
asyncio.run(main())连接 URL 携带模型、音色、语言和音频设置(WebSocket 端点将原始 PCM 命名为pcm),音频以与 HTTP 流相同的 base64 事件到达。WebSocket 指南列出了所有消息类型。
开始使用
- 在以下位置比较音色VoiceFinder
- 阅读文本转语音文档、流式指南和WebSocket 指南
- 查看Qwen3 TTS 模型页面
- 阅读 Qwen 的Hugging Face 模型卡
常见问题
Qwen3 TTS 在 Together AI 上的费用是多少?
Qwen3 TTS 在 Together Serverless Inference 上的费用为每 100 万字符 20 美元。该模型也可在专用端点上使用。
Qwen3 TTS 在 Together AI 上有多快?
在 Together AI 上,当你对流式响应进行流式传输时,Qwen3 TTS 最快可在 97ms 内返回首个音频,运行在我们推理团队为实时语音调优的服务栈上。
如何控制 Qwen3 TTS 音色的语气?
在语音请求的instructions字段中发送对表达方式的通俗语言描述,例如excited and upbeat。在 Python SDK 中,通过以下方式传入extra_body指令会改变声音的情感和语气,但不会改变声音听起来像谁。
一个 Qwen3 TTS 声音可以说多种语言吗?
可以,九个 Qwen3 TTS 预设声音中的每一个都能说全部 10 种支持的语言。将voice设置为声音名称,将language设置为文本的语言,并以该语言发送文本。Qwen 建议在每种声音的母语中使用它,以获得最佳质量。
Qwen3 TTS 在 Together AI 上支持流式传输吗?
支持,Qwen3 TTS 在 Together AI 上以两种方式支持流式传输。通过 HTTP,将stream设置为true并将response_format设置为raw以接收带有 base64 编码 PCM 音频的服务器发送事件。通过 WebSocket,分片发送文本,并在音频生成时接收音频。
Qwen3 TTS 返回哪些音频格式?
Qwen3 TTS 在 Together AI 上返回wav、mp3、raw(PCM)或mulaw音频,采样率为 24000(默认)或 8000。它不返回opus、aac或flac。
在选择之前,我如何比较 Qwen3 TTS 声音?
打开VoiceFinder并在模型菜单中选择Qwen/Qwen3-TTS-12Hz-1.7B。你可以预览每个声音,并用它生成最多 500 个字符的自定义文本。
Qwen3 TTS 是开源的吗?
是的,Qwen 以 Apache 2.0 许可证发布了 Qwen3 TTS 12Hz 1.7B。权重在 Hugging Face 上。