AI Radar — 每天的 AI 热点、模型与教程

Edge0 发布了 Audio8-TTS-Realistic，这是一个用于零样本语音克隆的开源权重文本转语音模型。Audio8-TTS-Realistic 是一个 0.6B 参数模型，可从 1 段参考音频和转写文本克隆声音。它支持 23 种语言，比前代多 12 种。权重和代码以 Apache 2.0 许可发布。对开发者而言，关键在于它以足够小的规模实现了有竞争力的多语言准确率，微调和部署成本都很低。

TL;DR

规模：主模型 601M 参数（不含编解码器）；上下文最多 2,048 个打包的文本/音频位置。

运行环境：推荐使用 CUDA GPU；已在 NVIDIA H20 上以 BF16 进行冒烟测试。论文报告在 Apple M2 CPU 上（INT4 ONNX）峰值内存为 1.1 至 1.2 GiB。目前尚无公开的 Realistic ONNX 导出。

性能：在 CV3 上领先于更大的开源模型，在 MiniMax 上落后于 4B 级模型。

最佳表现：在 9 种语言上平均 CV3 错误率为 4.86%，而 Qwen3-TTS-1.7B 为 7.73%。

最差表现：泰语（CV3）WER 为 48.57%，粤语（MiniMax）CER 为 31.35%。

什么是 Audio8-TTS-Realistic？

它是 Edge0 的 Audio8 TTS 系列中第二个 0.6B 版本。它基于 Audio8-TTS-Preview-0.6b 构建，并保持相同的 Transformers 推理接口。该仓库打包了检查点、44.1 kHz 神经音频编解码器、分词器、处理器和自定义代码。它也可以在没有参考语音的情况下生成语音。

新增语言为阿拉伯语、芬兰语、印地语、印度尼西亚语、马来语、挪威语、葡萄牙语、俄语、瑞典语、泰语、土耳其语和越南语。

架构如何工作？

该模型采用受 Fish Audio S2 Pro 启发的双自回归（DualAR）设计。根据技术研究报告，慢分支基于 Qwen2.5 0.5B 构建。它有 24 层，宽度为 896，运行速度约为每秒 21.5 帧。每一步预测文本 token 以及第一个音频码本。

随后，一个浅层的 4 层快分支并行预测其余 9 个码本。因此，顺序计算只发生在帧级别。

Edge0 如何为真实感进行训练？

团队认为，词错误率（WER）和说话人相似度（SIM）忽略了节奏、停顿和时序。一个模型可以在两者上都得分很高，但听起来仍然很合成。

训练分 3 个阶段进行：

多语言监督微调（SFT）。

使用组合奖励的 GRPO：WER 权重 0.7，SIM 权重 0.3。

由学习到的真实感评判器引导的 GRPO。

评判器将每个输出与同一句话的匹配人类录音进行对比打分。它是在由 6 个开源 TTS 系统构建的质量阶梯上训练的。这些系统在一项非公开盲听研究中被排名，人类录音位居榜首。合成停顿压缩为阶梯增加了更细的层级。

身份擦除损失阻止评判器奖励生成器指纹。评判器头在冻结的 WavLM-large 编码器之上约有 3M 参数。当超过参考长度的 1.35 倍时，还会触发时长惩罚。这阻止策略通过更慢的语速来钻评判器的空子。

最终阶段仅使用中文和英文提示。它仍然提升了 13 种低资源语言的两项聚合指标。它们的错误率从 22.53% 降至 20.77%，SIM 从 0.637 升至 0.679。

逐步查看</button>

</div>

<p class="note">真实感阶段仅使用中文和英文提示，却提升了 13 种额外语言的两项指标。来源：技术报告，表 1。</p>

</div>

<button class="btn" data-b="mm">MiniMax（24 种语言）</button>

</div>

</div>

</div>

<p class="note">CV3 各语言错误率（中文、日文、韩文为 CER；其他为 WER）。每种 500 条。条形越短越好。</p>

</div>

<p><b>Transformers</b>（PyTorch 2.5+、Transformers 4.57+，推荐 CUDA GPU）：</p>

<pre><code>model_id = "Edge0/Audio8-TTS-Realistic-0.6b"

processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)

model = AutoModel.from_pretrained(model_id, trust_remote_code=True)</code></pre>

<p><b>服务：</b>SGLang Omni 适配器，支持分页注意力、动态批处理和兼容 OpenAI 的 <code>/v1/audio/speech</code> API。Edge0 未对吞吐量和流式传输进行基准测试。</p>

<p><b>CPU：</b>论文报告在 Apple M2 上使用 INT4 ONNX 时峰值为 1.1 至 1.2 GiB。仓库表示目前尚无 Realistic ONNX 导出可用。</p>

</div>

<div class="ft"><span>数据由 Edge0 自行报告；竞品数据来自其自身来源或 Boson AI 的评估。</span><a href="https://www.marktechpost.com" target="_blank" rel="noopener">© Marktechpost</a></div>

</div>

(function(){

var R=document.getElementById('mtp-a8tts');

function rs(){try{parent.postMessage({mtpEmbedHeight:R.offsetHeight+40,id:'mtp-a8tts'},'*')}catch(e){}}

function $$(s){return Array.prototype.slice.call(R.querySelectorAll(s))}

$$('.tab').forEach(function(t){t.onclick=function(){

$$('.tab').forEach(function(x){x.setAttribute('aria-selected',x===t?'true':'false')});

$$('.pn').forEach(function(p){p.classList.toggle('on',p.getAttribute('data-p')===t.getAttribute('data-t'))});

if(t.getAttribute('data-t')==='bench')bench(curB);

if(t.getAttribute('data-t')==='train')stage(curG);

if(t.getAttribute('data-t')==='lang')lang(curL);

setTimeout(rs,60);};});

/* architecture */

var D=['参考音频片段及其精确转写文本作为模型的条件输入。模型也可以在没有参考的情况下生成语音。',

'慢分支基于 Qwen2.5 0.5B 构建。每个音频帧一次，它预测文本 token 以及 10 个码本中的第一个。',

'一个 4 层快分支读取慢分支的隐藏状态，并行预测剩余的 9 个码本，不增加额外的串行步骤。',

'内置编解码器将每帧 10 个码本（每个 4,096 条目）还原为 44.1 kHz 波形。它不计入 0.6B 的参数量。'];

var det=R.querySelector('#a8-detail');det.textContent=D[0];

$$('.blk').forEach(function(b){b.onclick=b.onmouseenter=function(){$$('.blk').forEach(function(x){x.classList.toggle('on',x===b)});det.textContent=D[+b.getAttribute('data-d')]};});

var F=R.querySelector('#a8-frames'),N=16,html='';

for(var i=0;i<N;i++){html+='<div class="fr">';for(var c=0;c<10;c++)html+='<div class="cb"></div>';html+='</div>'}

F.innerHTML=html;var fr=$$('.fr'),k=0;

setInterval(function(){var col=fr[k%N].children;

if(k%N===0)fr.forEach(function(f){Array.prototype.forEach.call(f.children,function(x){x.className='cb'})});

col[0].className='cb s';setTimeout(function(){for(var c=1;c<10;c++)col[c].className='cb f'},180);k++;},420);

/* 训练 */

var G=[[5.41,0.639,22.36,0.638],[5.01,0.643,22.53,0.637],[4.86,0.661,20.77,0.679]],curG=0;

var LB=['CV3 错误率 %（9 种语言）','CV3 SIM','额外 13 种语言错误率 %','额外 13 种语言 SIM'],MX=[25,1,25,1];

function stage(g){curG=g;$$('.stp').forEach(function(s){s.classList.toggle('on',+s.getAttribute('data-s')<=g)});

$$('[data-g]').forEach(function(b){b.classList.toggle('on',+b.getAttribute('data-g')===g)});

var h='';for(var i=0;i<4;i++){h+='<div class="mrow"><span class="lab">'+LB[i]+'</span><div class="trk"><div class="bar me" data-w="'+(G[g][i]/MX[i]*100)+'"></div></div><span class="val">'+(i%2?G[g][i].toFixed(3):G[g][i].toFixed(2)+'%')+(g?'<br><small style="color:#9a9a9f">'+((G[g][i]-G[0][i])>0?'+':'')+(G[g][i]-G[0][i]).toFixed(i%2?3:2)+' vs SFT</small>':'')+'</span></div>'}

var el=R.querySelector('#a8-stage');el.innerHTML=h;grow(el);setTimeout(rs,60);}

$$('[data-g]').forEach(function(b){b.onclick=function(){stopP();stage(+b.getAttribute('data-g'))}});

var P=null;function stopP(){if(P){clearInterval(P);P=null;R.querySelector('#a8-play').textContent=' Step through'}}

R.querySelector('#a8-play').onclick=function(){if(P){stopP();return}var g=0;stage(0);this.textContent='■ Stop';P=setInterval(function(){g++;if(g>2){stopP();return}stage(g)},1500)};

function grow(el){requestAnimationFrame(function(){requestAnimationFrame(function(){Array.prototype.forEach.call(el.querySelectorAll('[data-w]'),function(b){b.style.width=b.getAttribute('data-w')+'%'})})})}

/* 基准测试 */

var B={cv3:{max:9,rows:[['Higgs TTS 3 (~4B)',4.41],['Audio8-Realistic (0.6B)',4.86,1],['VoxCPM2 (2B)',5.35],['CosyVoice3 (1.5B)',6.89],['Qwen3-TTS (1.7B)',7.73]],n:'CV3 宏平均错误率，不含困难子集。Higgs 和 Qwen3-TTS 的数据来自 Boson AI 评测；VoxCPM2 和 CosyVoice3 来自 VoxCPM 仓库。'},

mm:{max:30,rows:[['Higgs TTS 3 (~4B)',2.74],['Audio8-Realistic (0.6B)',5.89,1],['Qwen3-TTS (1.7B)',27.41]],n:'MiniMax 24 种语言平均值，包含各模型支持列表之外的语言。Qwen3-TTS 支持其中 10 种。'}

seed:{max:2,rows:[['Qwen3-TTS (1.7B)',1.01],['Higgs TTS 3 (~4B)',1.11],['Audio8-Realistic (0.6B)',1.25,1],['VoxCPM2 (2B)',1.41],['CosyVoice3 (1.5B)',1.67]],n:'Seed-TTS 英文 WER 与中文 CER 的平均值，不含困难中文。越低越好。'}},curB='cv3';

function bench(k){curB=k;$$('[data-b]').forEach(function(b){b.classList.toggle('on',b.getAttribute('data-b')===k)});

var d=B[k],h='';d.rows.forEach(function(r){h+='<div class="mrow"><span class="lab"'+(r[2]?' style="color:#fff!important;font-weight:700"':'')+'>'+r[0]+'</span><div class="trk"><div class="bar'+(r[2]?' me':'')+'" data-w="'+(r[1]/d.max*100)+'"'+(r[2]?'':' style="background:#55555b!important"')+'></div></div><span class="val">'+r[1].toFixed(2)+'%</span></div>'});

var el=R.querySelector('#a8-bench');el.innerHTML=h;R.querySelector('#a8-bnote').textContent=d.n;grow(el);setTimeout(rs,60);}

$$('[data-b]').forEach(function(b){b.onclick=function(){bench(b.getAttribute('data-b'))}});

/* 语言 */

var L=[['Chinese',1.81],['English',2.91],['Japanese',7.51],['Korean',4.80],['German',3.20],['French',7.94],['Spanish',3.39],['Italian',4.93],['Russian',7.26],['Arabic',21.10],['Finnish',32.28],['Hindi',21.71],['Indonesian',13.74],['Malay',17.80],['Dutch',10.87],['Norwegian',17.96],['Polish',19.23],['Portuguese',6.87],['Swedish',19.25],['Thai',48.57],['Turkish',12.57],['Vietnamese',28.11]],curL='az';

function col(v){return v<8?'#f5f5f4':v<20?'#a1a1a6':'#5c5c62'}

function lang(m){curL=m;$$('[data-l]').forEach(function(b){b.classList.toggle('on',b.getAttribute('data-l')===m)});

var a=L.slice();if(m==='az')a.sort(function(x,y){return x[0]<y[0]?-1:1});if(m==='best')a.sort(function(x,y){return x[1]-y[1]});if(m==='worst')a.sort(function(x,y){return y[1]-x[1]});

var h='';a.forEach(function(r){h+='<div class="lc"><div class="t"><span>'+r[0]+'</span><em>'+r[1].toFixed(2)+'%</em></div><div class="mini"><i data-w="'+(r[1]/50*100)+'" style="background:'+col(r[1])+'"></i></div></div>'});

var el=R.querySelector('#a8-lang');el.innerHTML=h;grow(el);setTimeout(rs,60);}

$$('[data-l]').forEach(function(b){b.onclick=function(){lang(b.getAttribute('data-l'))}});

window.addEventListener('load',rs);window.addEventListener('resize',rs);setTimeout(rs,300);rs();

})();

</script>

它在基准测试上表现如何？

以下所有数字均为自报的错误率，越低越好。

Seed-TTS（英语/中文）：平均错误率 1.25%，SIM 0.704。

CV3（9 种语言）：平均错误率 4.86%，SIM 0.661。

MiniMax（24 种语言）：平均错误率 5.89%，SIM 0.754。

在 CV3 上，Audio8 优于 VoxCPM2（5.35%）、CosyVoice3-1.5B（6.89%）和 Qwen3-TTS-1.7B（7.73%）。在 MiniMax 上，Qwen3-TTS-1.7B 得分为 27.41%，但它官方仅支持 24 种测试语言中的 10 种。

更大的模型在其他方面仍然领先。Higgs TTS 3 在 CV3 上报告 4.41%，在 MiniMax 上报告 2.74%。Qwen3-TTS-1.7B 在 Seed-TTS 上平均为 1.01%。Edge0 自己称其表格为参考对比，因为评估流程和文本归一化存在差异。

它与其他开源 TTS 模型相比如何？

特性Audio8-TTS-RealisticQwen3-TTS-12Hz-1.7B-BaseVoxCPM2Higgs TTS 3规模0.6B（不含编解码器）1.7B2B~4B 主干许可证Apache 2.0Apache 2.0Apache 2.0研究与非商业语言231030100+输出采样率44.1 kHz未披露48 kHz24 kHzSeed-TTS 英文 WER1.46%1.24%1.84%未披露Seed-TTS 中文 CER1.03%0.77%0.97%未披露CV3 平均错误率（9 种语言）4.86%7.73%（Boson AI 评估）5.35%4.41%MiniMax 平均错误率（24 种语言）5.89%27.41%（Boson AI 评估）未披露2.74%硬件说明CUDA GPU；论文中 INT4 M2 CPUGPU、FlashAttention 2~8 GB 显存1x H100 服务测试

VoxCPM2 的 CV3 平均值由其逐语言表格计算得出。

如何部署它？

安装 PyTorch 2.5+ 和 Transformers 4.57+，然后使用 trust_remote_code=True 加载。声音克隆需要一段干净的参考音频及其精确转写文本。GitHub 仓库还提供了 CLI、批处理和监督微调脚本。

对于 GPU 服务，SGLang Omni 适配器提供分页注意力、动态批处理和兼容 OpenAI 的 /v1/audio/speech API。Edge0 指出吞吐量和流式传输未进行基准测试。免费的 Playground 运行在 Hugging Face ZeroGPU 上。

要点

6.01 亿参数，23 种语言，Apache 2.0 权重。

一个学习到的真实感评判器驱动最终的 GRPO 阶段。

4.86% 的 CV3 错误率优于 Qwen3-TTS-1.7B 和 VoxCPM2。

4B 级别的 Higgs TTS 3 在 CV3 和 MiniMax 上仍然领先。

低资源语言仍然表现较弱，泰语的 WER 接近 49%。

查看论文、模型权重、代码库和示例。另外，欢迎在 Twitter 上关注我们，别忘了加入我们拥有 15 万+ 成员的 ML SubReddit 并订阅我们的新闻通讯。等等！你在 Telegram 上吗？现在你也可以在 Telegram 上加入我们了。

需要与我们合作推广你的 GitHub 仓库、Hugging Face 页面、产品发布或网络研讨会等？请联系我们

文章《Edge0 Releases Audio8-TTS-Realistic, a 0.6B Voice Cloning TTS Model》首发于 MarkTechPost。

Edge0 开源 0.6B 语音克隆 TTS 模型 Audio8

1 个独立信源

相关条目