You.com 推出了 Inference Router,这是一个用于在生产环境中运行开源权重模型的托管 API。You.com Inference Router 是一个兼容 OpenAI 的服务,可在 12 个在线模型之间路由请求。它捆绑了 99.9% 的最低正常运行时间 SLA 和零数据保留(ZDR)。它还提供 100% 美国托管和服务器端网络搜索。它按使用量付费,没有平台费。

TL;DR

规模:12 个在线模型,从 GPT-OSS 120B(125K 上下文)到 Kimi K3 和 Qwen3.8 Max(1M 上下文)。Kimi K3 是一个 2.8T 参数的模型;Qwen3.8 Max 是一个 2.4T 的 MoE。

运行方式:完全托管。请求首先到达 You.com Inference Direct,然后故障转移到美国托管的合作伙伴。无需管理 GPU。

性能:在 You.com 的 LiveNewsBench 运行中,开源权重模型加上 You.com 搜索以更低的成本匹配了前沿模型。

最佳:GLM-5.3 配合 You.com 搜索得分 86.53%,每问题 $0.0485,而 Claude Sonnet 5.5 为 $0.0920(自报数据)。

最差:每 token 价格接近市场水平。Kimi K3 为 $2.85/$14.25,仅比 Together AI 的 $3.00/$15.00 低 5%。

什么是 You.com Inference Router?

它是一个用于多种开源权重模型的 API。端点为 https://api.you.com,提供兼容 OpenAI 和兼容 Anthropic 的路由。现有 SDK 代码只需更改基础 URL 和密钥即可迁移。

You.com 团队将问题归结为停滞的迁移。开发团队在聚合器上测试开源权重模型,然后遇到安全审查。审查者会询问 ZDR、美国托管、访问控制和 DPA。专用提供商能通过这些门槛,但通常需要大量承诺。Inference Router 瞄准的就是这一缺口。

路由和故障转移是如何工作的?

每个请求首先发往 You.com Inference Direct,即公司自己的推理容量。如果它宕机或满载,请求会故障转移到经过审核的合作伙伴。官方帖子列出了 Parasail、Wafer、Alibaba Cloud、Meta 和 Inception,Prime Intellect 即将加入。所有合作伙伴均为 100% 美国托管,且必须符合 ZDR 规则。

故障转移不会改变账单。每个模型有 1 个公布的每 token 价格。You.com 还提供按 API 密钥的支出上限,以及按模型、成本和提供商查看每日使用情况。账户运行在符合 SOC 2 的基础设施上,可按需提供 DPA。

零数据保留涵盖哪些内容?

ZDR 政策规定,提示词和输出在内存中处理且不被存储。该政策涵盖模型调用和网页搜索请求。You.com 仅保留运营元数据,例如 token 数量、时间戳和账户 ID。提示词哈希、去标识化文本和基于磁盘的提示词缓存被明确排除在外。

有哪些模型可用,它们的价格是多少?

模型页面列出了 12 个在线模型,全部托管在美国。价格按每 100 万 token 计(输入 / 输出):

Kimi K3(Moonshot AI):$2.85 / $14.25,100 万上下文

Qwen3.8 Max(Alibaba):$1.85 / $5.55,100 万上下文

GLM 5.3(Z.ai):$1.35 / $4.25,100 万上下文

DeepSeek V4 Pro:$1.65 / $3.65,100 万上下文

DeepSeek V4.1 Flash:$0.30 / $1.20,100 万上下文

Mercury 3(Inception):$0.10 / $0.35,100 万上下文

GPT-OSS 120B(OpenAI):$0.097 / $0.73,12.5 万上下文

Muse Wonder、Muse Spark 1.3、GLM 5.3 Flash、Qwen3.8 Flash 和 MiniMax M3 构成了列表的其余部分。

内置网页搜索是如何工作的?

开发者声明一个 web_search 或 web_extract 工具,路由器会为模型执行搜索。文档显示每次搜索最多返回 20 条结果,默认进行 30 轮搜索。响应会返回一个带有引用的 web_results 对象。

搜索与模型运行在同一台服务器上。You.com 表示内部测试显示延迟最多降低 15%。

发送请求</button>

<button class="btn" id="ydcSearch">+ 启用 web_search</button>

<button class="btn" id="ydcFail"> 模拟故障</button>

<span class="status" id="ydcStat">空闲</span>

</div>

</div>

<div class="grid3">

<div class="stat"><b>≥99.9%</b><span>正常运行时间 SLA,含服务补偿</span></div>

<div class="stat"><b>0%</b><span>平台费(OpenRouter:5.5%)</span></div>

<div class="stat"><b>最高 15%</b><span>更低延迟,服务端搜索(内部测试)</span></div>

</div>

<p class="note">发布文章中提到的故障转移合作伙伴:Parasail、Wafer、Alibaba Cloud、Meta、Inception;Prime Intellect 即将加入。故障转移绝不会改变价格。</p>

</div>

<!-- 1: models -->

<div class="pn" data-p="1">

<div class="seg" id="ydcSeg"><button class="on" data-m="in">输入 $/100 万</button><button data-m="out">输出 $/100 万</button></div>

<div class="rows" id="ydcModels"></div>

<p class="note">每 100 万 token 的价格来自 you.com/product/inference-router/models,查询于 2026 年 10 月 22 日。所有模型均托管在美国并启用 ZDR。</p>

</div>

<!-- 2: benchmarks -->

<div class="pn" data-p="2">

<div class="seg" id="ydcBseg"><button class="on" data-m="acc">准确率</button><button data-m="cost">每题成本</button></div>

<div class="rows" id="ydcBench"></div>

<p class="note">LiveNewsBench,1,329 道题,按标价计算。准确率柱状图从 80% 起算。You.com 于 2026 年 10 月使用 Braintrust 的开源搜索评测自行运行(自报数据)。紫色 = 开源权重 + You.com 搜索;灰色 = 内置搜索的闭源模型。</p>

</div>

<!-- 3: compare -->

<div class="pn" data-p="3">

<div class="tw"><table>

<thead><tr><th></th><th>You.com</th><th>OpenRouter</th><th>Together AI</th><th>Fireworks AI</th></tr></thead>

<tbody>

<tr class="hl"><td>正常运行时间 SLA</td><td>≥99.9%,按需付费</td><td>未披露</td><td>尽力而为;承诺 PTU 时可达 99%</td><td>未披露</td></tr>

<tr class="hl"><td>ZDR</td><td>默认开启,覆盖模型 + 搜索</td><td>默认不记录提示词</td><td>默认关闭</td><td>默认开启(开源模型)</td></tr>

<tr class="hl"><td>平台费</td><td>0%</td><td>5.5%</td><td>未列出</td><td>未列出</td></tr>

<tr class="hl"><td>Kimi K3 输入/输出</td><td>$2.85 / $14.25</td><td>因提供商而异</td><td>$3.00 / $15.00</td><td>$3.00 / $15.00(仅美国区 $4.50 / $22.50)</td></tr>

<tr class="hl"><td>美国托管</td><td>100%,含故障转移</td><td>因提供商而异</td><td>未披露</td><td>美国区需加价</td></tr>

</tbody>

</table></div>

<p class="note">来源:openrouter.ai/docs/faq、together.ai/pricing、docs.together.ai、docs.fireworks.ai/serverless/pricing。查询于 2026 年 10 月 22 日。</p>

</div>

<!-- 4: quickstart -->

<div class="pn" data-p="4">

<div class="steps"><button class="btn" data-s="0">1 · 安装</button><button class="btn" data-s="1">2 · 更改 base URL</button><button class="btn" data-s="2">3 · 添加搜索</button></div>

<pre><code id="ydcCode"></code></pre>

<p class="stepTxt" id="ydcStep"></p>

</div>

<div class="ft"><span>来源:you.com 发布帖、模型页面、文档 · 标注处数字为自行报告</span><a href="https://www.marktechpost.com" target="_blank" rel="noopener">© Marktechpost</a></div>

</div>

<script>

(function(){

var R=document.getElementById('ydc-ir');

function post(){try{parent.postMessage({ydcH:R.offsetHeight+40},'*')}catch(e){}}

R.querySelectorAll('.tab').forEach(function(t){t.onclick=function(){

R.querySelectorAll('.tab').forEach(function(x){x.classList.remove('on')});t.classList.add('on');

R.querySelectorAll('.pn').forEach(function(p){p.classList.toggle('on',p.dataset.p==t.dataset.t)});

if(t.dataset.t=='0')layout(); if(t.dataset.t=='1')drawM(); if(t.dataset.t=='2')drawB(); if(t.dataset.t=='4')step(0);

setTimeout(post,60);}});

/* routing */

var F=document.getElementById('ydcFlow'),W=document.getElementById('ydcWires'),ST=document.getElementById('ydcStat');

var N={app:'n-app',r:'n-r',s:'n-s',d:'n-d',p:'n-p'},down=false,busy=false;

function el(k){return document.getElementById(N[k])}

function layout(){var w=F.clientWidth,h=F.clientHeight,m=w<520;

var pos=m?{app:[.5,.07],r:[.5,.38],s:[.5,.66],d:[.22,.93],p:[.78,.93]}:{app:[.1,.5],r:[.42,.5],s:[.42,.12],d:[.82,.25],p:[.82,.78]};

for(var k in pos){var e=el(k);e.style.left=(pos[k][0]*w-e.offsetWidth/2)+'px';e.style.top=(pos[k][1]*h-e.offsetHeight/2)+'px'}

wires();}

function c(k){var e=el(k);return[e.offsetLeft+e.offsetWidth/2,e.offsetTop+e.offsetHeight/2]}

function wires(){W.querySelectorAll('path').forEach(function(p){p.remove()});

[['app','r'],['r','s'],['r','d'],['r','p']].forEach(function(pr){var a=c(pr[0]),b=c(pr[1]),p=document.createElementNS('http://www.w3.org/2000/svg','path');

p.setAttribute('d','M'+a[0]+' '+a[1]+' L'+b[0]+' '+b[1]);p.setAttribute('class','w');p.id='w-'+pr[0]+pr[1];W.appendChild(p)})}

function clear(){R.querySelectorAll('.node').forEach(function(n){n.classList.remove('hot','fo')});W.querySelectorAll('.w').forEach(function(w){w.classList.remove('act')})}

function hot(k,cls){el(k).classList.add(cls||'hot')}

function wire(id){var w=document.getElementById('w-'+id);if(w)w.classList.add('act')}

function run(search){if(busy)return;busy=true;clear();var t=0,seq=[];

seq.push(function(){hot('app');wire('appr');ST.textContent='请求 → 路由器'});

seq.push(function(){hot('r')});

if(search)seq.push(function(){wire('rs');hot('s');ST.textContent='web_search 在服务端运行'});

if(!down)seq.push(function(){wire('rd');hot('d');ST.textContent='由 Inference Direct 提供 · ZDR'});

else{seq.push(function(){ST.textContent='Inference Direct 不可用…'});

seq.push(function(){wire('rp');hot('p','fo');ST.textContent='自动故障转移到美国合作伙伴 · 同价'})}

seq.push(function(){busy=false});

seq.forEach(function(f){setTimeout(f,t);t+=650})}

document.getElementById('ydcSend').onclick=function(){run(false)};

document.getElementById('ydcSearch').onclick=function(){run(true)};

document.getElementById('ydcFail').onclick=function(){down=!down;el('d').classList.toggle('down',down);this.textContent=down?'✓ 恢复容量':' 模拟故障';ST.textContent=down?'Inference Direct:宕机':'Inference Direct:正常'};

window.addEventListener('resize',function(){layout();post()});

/* 模型 */

var M=[['Kimi K3','Moonshot AI · 1M',2.85,14.25],['Muse Wonder','Meta · 1M',4.00,20.00],['Qwen3.8 Max','Alibaba · 1M',1.85,5.55],['DeepSeek V4 Pro','DeepSeek · 1M',1.65,3.65],['GLM 5.3','Z.ai · 1M',1.35,4.25],['Muse Spark 1.3','Meta · 1M',1.25,4.25],['DeepSeek V4.1 Flash','DeepSeek · 1M',0.30,1.20],['MiniMax M3','MiniMax · 512K',0.29,1.16],['GLM 5.3 Flash','Z.ai · 1M',0.14,0.48],['Qwen3.8 Flash','Alibaba · 1M',0.14,0.43],['Mercury 3','Inception · 1M',0.10,0.35],['GPT-OSS 120B','OpenAI · 125K',0.097,0.73]];

var mode='in',MB=document.getElementById('ydcModels');

function drawM(){var i=mode=='in'?2:3,mx=Math.max.apply(null,M.map(function(r){return r[i]}));

var s=M.slice().sort(function(a,b){return b[i]-a[i]});

MB.innerHTML=s.map(function(r){return '<div class="row"><div class="nm">'+r[0]+'<small>'+r[1]+'</small></div><div class="bar"><i data-w="'+(r[i]/mx*100)+'"></i></div><div class="val">$'+r[i].toFixed(r[i]<0.1?3:2)+'</div></div>'}).join('');

requestAnimationFrame(function(){MB.querySelectorAll('i').forEach(function(x){x.style.width=x.dataset.w+'%'})});post()}

R.querySelectorAll('#ydcSeg button').forEach(function(b){b.onclick=function(){R.querySelectorAll('#ydcSeg button').forEach(function(x){x.classList.remove('on')});b.classList.add('on');mode=b.dataset.m;drawM()}});

/* bench */

var B=[['GPT-6.1 Sol','built-in search',86.53,0.0591,0],['GLM-5.3','+ You.com search',86.53,0.0485,1],['Claude Sonnet 5.5','built-in search',86.38,0.0920,0],['DeepSeek V4.1 Flash','+ You.com search',84.12,0.0215,1]];

var bm='acc',BB=document.getElementById('ydcBench');

function drawB(){BB.innerHTML=B.map(function(r){var v=bm=='acc'?r[2]:r[3],w=bm=='acc'?(r[2]-80)/(90-80)*100:r[3]/0.0920*100;

return '<div class="row"><div class="nm">'+r[0]+'<small>'+r[1]+'</small></div><div class="bar"><i class="'+(r[4]?'':'alt')+'" data-w="'+w+'"></i></div><div class="val">'+(bm=='acc'?v.toFixed(2)+'%':'$'+v.toFixed(4))+'</div></div>'}).join('');

requestAnimationFrame(function(){BB.querySelectorAll('i').forEach(function(x){x.style.width=x.dataset.w+'%'})});post()}

R.querySelectorAll('#ydcBseg button').forEach(function(b){b.onclick=function(){R.querySelectorAll('#ydcBseg button').forEach(function(x){x.classList.remove('on')});b.classList.add('on');bm=b.dataset.m;drawB()}});

/* quickstart */

var CODE=[

'<span class="c"># Use the standard OpenAI SDK</span>\npip install openai',

'<span class="k">from</span> openai <span class="k">import</span> OpenAI\n\nclient = OpenAI(\n<span class="hlline"> base_url=<span class="s">"https://api.you.com/v1"</span>, <span class="c"># the only line you change</span></span>\n api_key=<span class="s">"YDC_API_KEY"</span>,\n)\n\nresp = client.chat.completions.create(\n model=<span class="s">"kimi-k3"</span>,\n messages=[{<span class="s">"role"</span>: <span class="s">"user"</span>, <span class="s">"content"</span>: <span class="s">"Hello"</span>}],\n)',

resp = client.chat.completions.create( model=<span class="s">"kimi-k3"</span>, messages=[{<span class="s">"role"</span>: <span class="s">"user"</span>, <span class="s">"content"</span>: <span class="s">"What changed in the latest Python release?"</span>}], <span class="hlline"> tools=[{<span class="s">"type"</span>: <span class="s">"web_search"</span>, <span class="s">"freshness"</span>: <span class="s">"month"</span>, <span class="s">"count"</span>: 5}],</span> ) <span class="c"># 答案和引用会通过 resp.web_results 返回</span>

var TXT=['Inference Router 支持 OpenAI 和 Anthropic 的 API 格式,因此现有的 SDK 可以直接使用。','替换 base URL 和密钥。你现有的 OpenAI 兼容代码现在就能在 Inference Router 上运行。','声明一个 web_search 工具,路由器就会在服务端执行搜索,并在 web_results 中返回来源。'];

function step(i){document.getElementById('ydcCode').innerHTML=CODE[i];document.getElementById('ydcStep').textContent=TXT[i];

R.querySelectorAll('.steps .btn').forEach(function(b){b.style.borderColor=b.dataset.s==i?'#7b6cff':''});post()}

R.querySelectorAll('.steps .btn').forEach(function(b){b.onclick=function(){step(+b.dataset.s)}});

layout();setTimeout(function(){layout();post()},300);window.addEventListener('load',post);post();

})();

</script>

</body></html>

">

基准测试显示了什么?

You.com 报告了一次 LiveNewsBench 运行,包含 1,329 个问题,使用的是 Braintrust 的开源搜索评测。这些数字为自行报告:

配置准确率每题平均成本GPT-6.1 Sol,内置搜索86.53%$0.0591GLM-5.3 + You.com 搜索86.53%$0.0485Claude Sonnet 5.5,内置搜索86.38%$0.0920DeepSeek V4.1 Flash + You.com 搜索84.12%$0.0215

DeepSeek V4.1 Flash 的每题成本比 Claude Sonnet 5.5 低约 77%。它落后 2.26 个百分点。

Braintrust 自己在 8 月的研究使用的是较旧的模型。在那项研究中,DeepSeek V4 Flash 搭配 You.com 搜索以每题 $0.0163 达到 80.66%。Claude Sonnet 5 搭配内置搜索以 $0.1148 得分 78.78%。

You.com 还引用了与 NVIDIA 和 CoreWeave 的合作。在训练循环中结合 You.com 搜索对 Nemotron 3.5 Lightning 进行后训练,将 BrowseComp 从 36.97% 提升到 45.45%。工具调用次数下降了 30%。

它与 OpenRouter、Together AI 和 Fireworks AI 相比如何?

指标You.com 推理路由器OpenRouterTogether AI(无服务器)Fireworks AI(无服务器)模型优先使用自有容量,合作伙伴故障转移跨第三方提供商的聚合器自有推理云自有推理云正常运行时间 SLA按量付费至少 99.9%,并附带补偿额度未披露;自动回退尽力而为;仅预置吞吐量(最低 1 个月)提供 99% 请求 SLA未披露零数据保留默认,模型和网页搜索默认不记录提示;提供商政策各异默认关闭;管理员可启用开源模型默认开启美国托管100%,包括故障转移因提供商而异无服务器未披露仅美国层级需加价平台费0%购买额度收取 5.5%(最低 $0.80)未列出未列出Kimi K3(每 1M 输入 / 输出)$2.85 / $14.25$0.238 / $16 至 $4.50 / $22.50,因提供商而异$3.00 / $15.00$3.00 / $15.00;仅美国 $4.50 / $22.50DeepSeek V4.1 Flash(每 1M 输入 / 输出)$0.30 / $1.20未核查$0.30 / $1.20$0.30 / $1.20;仅美国 $0.45 / $1.80服务端网页搜索是,与模型同一服务器服务端工具,第三方搜索未披露第三方搜索提供商

最明显的价格优势是对比 Fireworks 的仅美国层级。在那里,You.com 的 Kimi K3 输入价格便宜约 37%。

关键要点

12 个开源权重模型,统一在 1 个 OpenAI 兼容的基础 URL 之后。

按量付费至少 99.9% 正常运行时间 SLA,并附带补偿额度。

ZDR 覆盖模型调用和网页搜索。

0% 平台费,而 OpenRouter 为 5.5%。

Token 价格接近市场水平;价值在于各项保障。

查看发布文章、浏览模型列表并查阅开发者文档。所有功劳归于本项目的研究者。也欢迎在 Twitter 上关注我们,别忘了加入我们 150k+ 的 ML SubReddit 并订阅我们的 Newsletter。等等!你在 Telegram 上吗?现在你也可以在 Telegram 上加入我们。

需要与我们合作推广你的 GitHub 仓库、Hugging Face 页面、产品发布或网络研讨会等?联系我们

文章《You.com 推出推理路由器:12 个开源权重模型,提供 99.9% 正常运行时间 SLA》首次发布于 MarkTechPost。