从今天开始,开发者可以运行Qwen3 TTS在 Together AI 上,首个音频最快只需 97ms。

Qwen3 TTS 是一个开源文本转语音模型,它将“谁在说话”与“如何说话”分离。你从九个预设音色中选择一个,该音色保持不变,而你可以用自然语言指令改变其表达方式,例如“兴奋而欢快”,或将其切换于 10 种语言之间。

Together AI 的推理团队针对 Qwen3 TTS 调优了服务栈,使语音能够快速开始流式传输,足以支持实时对话。该模型现已在 Together Serverless Inference 和专用端点上提供。

告诉它如何说出这句话

同一句话可以听起来是好消息,也可以是坏消息,取决于它怎么说;使用 Qwen3 TTS,你可以用几个词描述表达方式来决定是哪一种。这里,该音色aiden将同一句话读了三次。各片段之间音色和文字不变,只有指令改变。

aiden · 兴奋而欢快

0:00

“嗯,这可改变了一切。”

aiden · 愤怒而不耐烦

0:00

“嗯,这可改变了一切。”

aiden · 悲伤而失望

0:00

“嗯,这可改变了一切。”

指令控制表达方式,而音色保持你选择的那一个。当你切换语言时,也可以继续使用同一个音色。

在 10 种语言中保持同一个音色

每个预设音色都能说全部 10 种支持的语言:中文、英语、日语、韩语、德语、法语、俄语、葡萄牙语、西班牙语和意大利语。这让产品在进入新市场时能够保持同一个音色。这里,aiden一个英语音色用四种语言朗读同一条订单更新。

aiden · 英语 (en)

0:00

“Your order has shipped and should arrive on Thursday.”

aiden · 西班牙语 (es)

0:00

“Tu pedido ha sido enviado y debería llegar el jueves.”

aiden · 德语 (de)

0:00

“Ihre Bestellung wurde versandt und sollte am Donnerstag ankommen.”

aiden · 日语 (ja)

0:00

“ご注文の商品は発送済みで、木曜日に到着する予定です。”

用你选择的语言提供文本;上面四个片段使用了分别翻译的文本。每个音色也有其母语,Qwen 建议使用音色的母语以获得最佳质量,因此在确定预设之前,请先试听你的应用所需的语言。

在 VoiceFinder 中选择音色

选择预设最快的方法是听每个预设朗读你自己的台词。VoiceFinder列出 Qwen3 TTS 的声音,播放每个声音的示例,并用其中任意一个声音朗读你输入的文本。

  1. 打开voicefinder.together.ai,在模型菜单中选择Qwen/Qwen3-TTS-12Hz-1.7B并选择Find voices。
  2. 选择Preview以播放某个声音的示例。
  3. 选择Try custom text,输入最多 500 个字符,然后选择Generate即可听到该声音朗读你的文本。换另一个声音重复此操作,以便在同一段文本上比较它们。
  4. 选择Show code以获取该声音在 Python、TypeScript 或 cURL 中的请求。

九个预设声音,以及各自的原生语言和 Qwen 的描述:

声音原生语言描述
aiden英语阳光的美国男声,中频清晰
ryan英语富有动感的男声,节奏感强
vivian中文明亮、略带锋芒的年轻女声
serena中文温暖、温柔的年轻女声
uncle_fu中文老练的男声,音色低沉醇厚
dylan中文,北京话年轻的北京男声,音色清晰自然
eric中文,四川话活泼的成都男声,略带沙哑的明亮感
ono_anna日语俏皮的日本女声,音色轻盈灵动
sohee韩语温暖的韩国女声,情感丰富

生成语音

你需要 Together Python SDK(pip install together)和一个TOGETHER_API_KEY。此请求同时设置声音、语言和指令,并生成对上面那句话的兴奋朗读。

from together import Together

client = Together()

response = client.audio.speech.create(
    model="Qwen/Qwen3-TTS-12Hz-1.7B",
    input="Well, that changes everything.",
    voice="aiden",  # who speaks
    language="en",  # the language of the text
    extra_body={"instructions": "excited and upbeat"},  # how to say it
    response_format="mp3",
)

response.write_to_file("excited.mp3")

Python SDK 将instructions传递到extra_body。如果指令似乎没有改变朗读效果,请检查该字段是否拼写为instructions,因为拼写错误的字段会被跳过且不报错。

此模型的参数:

参数应发送的内容
voice九个声音名称之一,小写
instructions对朗读方式的简短描述,例如excited and upbeat。可选
language输入文本的 ISO 639-1 代码,例如en、zh、ja或ko
response_formatwav、mp3、raw或mulaw。opus、aac和flac不受支持
sample_rate24000(默认)或8000

词级时间戳(alignment=word)不受 Qwen3 TTS 支持。

为语音智能体流式传输音频

在语音智能体中,语音必须在整个回复合成完成之前就开始播放。在 Together AI 上,Qwen3 TTS 最快可在 97ms 内返回首个音频,并且支持两种流式传输方式。选择哪一种取决于你在发起请求时是否已拥有完整文本。

当你拥有完整文本时:通过 HTTP 流式传输

使用stream=True和response_format="raw"时,语音 API 会在音频生成过程中返回服务器发送事件。每个conversation.item.audio_output.delta事件携带一个 base64 编码的音频块。该脚本接收流、解码每个音频块并将音频保存到文件。

import base64
import json

from together import Together

client = Together()

with client.audio.speech.with_streaming_response.create(
    model="Qwen/Qwen3-TTS-12Hz-1.7B",
    input="Your order has shipped and should arrive on Thursday.",
    voice="aiden",
    language="en",
    extra_body={"instructions": "excited and upbeat"},
    stream=True,
    response_format="raw",
    response_encoding="pcm_s16le",
) as response, open("order-update.pcm", "wb") as audio:
    for line in response.iter_lines():
        if not line.startswith("data: {"):
            continue
        event = json.loads(line[len("data: "):])
        if event.get("type") == "conversation.item.audio_output.delta":
            # Each event carries a base64 chunk of 16-bit PCM at 24 kHz
            audio.write(base64.b64decode(event["delta"]))

输出为 24 kHz 的 16 位单声道 PCM,指令对流式请求的适用方式与对完整请求相同。要边接收边播放语音,请将每个解码后的音频块发送到音频输出,而不是保存到文件。

当文本仍在生成时:WebSocket

如果文本来自语言模型并逐 token 产生,WebSocket 端点允许你分片发送文本。你打开一个连接,在文本可用时追加,并在输入完成时提交,服务器会在获得完整句子后立即合成每个句子。该脚本分两片发送订单更新并保存返回的音频。它需要websockets包,版本 14 或更高(pip install websockets)。

import asyncio
import base64
import json
import os

import websockets

URL = (
    "wss://api.together.ai/v1/audio/speech/websocket"
    "?model=Qwen/Qwen3-TTS-12Hz-1.7B&voice=aiden&language=en"
    "&response_format=pcm&sample_rate=24000"
)


async def main():
    headers = {"Authorization": f"Bearer {os.environ['TOGETHER_API_KEY']}"}
    async with websockets.connect(URL, additional_headers=headers) as ws:
        # Append text as it becomes available, then commit once the input is complete
        await ws.send(json.dumps({"type": "input_text_buffer.append", "text": "Your order has shipped. "}))
        await ws.send(json.dumps({"type": "input_text_buffer.append", "text": "It should arrive on Thursday."}))
        await ws.send(json.dumps({"type": "input_text_buffer.commit"}))

        with open("order-update.pcm", "wb") as audio:
            async for message in ws:
                event = json.loads(message)
                if event["type"] == "conversation.item.audio_output.delta":
                    # Each event carries a base64 chunk of 16-bit PCM at 24 kHz
                    audio.write(base64.b64decode(event["delta"]))
                elif event["type"] == "conversation.item.audio_output.done":
                    break
                elif event["type"] == "conversation.item.tts.failed":
                    raise RuntimeError(event["error"])


asyncio.run(main())

连接 URL 携带模型、音色、语言和音频设置(WebSocket 端点将原始 PCM 命名为pcm),音频以与 HTTP 流相同的 base64 事件到达。WebSocket 指南列出了所有消息类型。

开始使用

常见问题

Qwen3 TTS 在 Together AI 上的费用是多少?

Qwen3 TTS 在 Together Serverless Inference 上的费用为每 100 万字符 20 美元。该模型也可在专用端点上使用。

Qwen3 TTS 在 Together AI 上有多快?

在 Together AI 上,当你对流式响应进行流式传输时,Qwen3 TTS 最快可在 97ms 内返回首个音频,运行在我们推理团队为实时语音调优的服务栈上。

如何控制 Qwen3 TTS 音色的语气?

在语音请求的instructions字段中发送对表达方式的通俗语言描述,例如excited and upbeat。在 Python SDK 中,通过以下方式传入extra_body指令会改变声音的情感和语气,但不会改变声音听起来像谁。

一个 Qwen3 TTS 声音可以说多种语言吗?

可以,九个 Qwen3 TTS 预设声音中的每一个都能说全部 10 种支持的语言。将voice设置为声音名称,将language设置为文本的语言,并以该语言发送文本。Qwen 建议在每种声音的母语中使用它,以获得最佳质量。

Qwen3 TTS 在 Together AI 上支持流式传输吗?

支持,Qwen3 TTS 在 Together AI 上以两种方式支持流式传输。通过 HTTP,将stream设置为true并将response_format设置为raw以接收带有 base64 编码 PCM 音频的服务器发送事件。通过 WebSocket,分片发送文本,并在音频生成时接收音频。

Qwen3 TTS 返回哪些音频格式?

Qwen3 TTS 在 Together AI 上返回wav、mp3、raw(PCM)或mulaw音频,采样率为 24000(默认)或 8000。它不返回opus、aac或flac。

在选择之前,我如何比较 Qwen3 TTS 声音?

打开VoiceFinder并在模型菜单中选择Qwen/Qwen3-TTS-12Hz-1.7B。你可以预览每个声音,并用它生成最多 500 个字符的自定义文本。

Qwen3 TTS 是开源的吗?

是的,Qwen 以 Apache 2.0 许可证发布了 Qwen3 TTS 12Hz 1.7B。权重在 Hugging Face 上。