Sarvam 已向所有人开放 Sarvam Token Factory。Sarvam Token Factory 是 Sarvam 推出的推理平台,通过印度的 GPU 集群提供自家模型和开源权重模型的服务。开发者通过一个兼容 OpenAI 的 API 即可访问所有模型。对印度本土团队而言,这意味着低延迟的 token,且无需将流量发送到海外云。你可以通过我们的 GPULeaderboard.com Chrome 扩展查看部署选项和规格。

TL;DR

规模:发布时列出 8 个模型,包括 Sarvam 105B(总参数 105B,激活参数 9B,128K 上下文)、GLM 5.3、DeepSeek V4.1 Flash 1017、Kimi K3.1 Pro 和 Gemma 4 31B。

运行于:印度的 NVIDIA B200 集群。Sarvam 105B 现在每个副本可容纳于 1 块 B200 上。为企业提供本地部署选项。

性能:根据 Sarvam 自身的测量,在大多数测试用例中,从孟买发出的首个 token 速度最快。

最佳:Kimi K3.1 Pro 每 GPU 达 6,177 tokens/s,而 InferenceX 为 3,213,在每用户 70 tokens/s 下(1.9 倍)。

什么是 Sarvam Token Factory?

它是一个托管推理栈,而非单一模型。Sarvam 最初在其 Epoch 活动上以 Sarvam Inference 之名预览了它。发布帖列出了 8 个模型:Sarvam 105B、GLM 5.3、GLM 5.3 Flash、DeepSeek V4.1 Flash 1017、DeepSeek V4 Pro、Kimi K3、Kimi K3.1 Pro 和 Gemma 4 31B。

文档将它们分为两组。按需付费模型运行在共享端点上。DeepSeek V4 Pro、Kimi K3.1 Pro、Qwen 3.8 27B、Clef 和 EmbeddingGemma 2 需要预置吞吐量,按组织启用。

它如何工作?

该栈围绕共享缓存分为 3 层:

控制平面:一个缓存感知路由器、准入控制和规划器。

推理引擎:为预填充和解码分别设置独立的 GPU 池。

缓存:GPU 内存加上基于 Mooncake 构建的共享 G3 存储。

它构建在 vLLM、SGLang、Dynamo、Mooncake、NIXL、DeepEP、DeepGEMM 和 FlashInfer 之上。一个编排智能体提出实验,工程师批准每次部署。

缓存带来了大部分收益。DeepSeek V4.1 Flash 每天服务 450B+ tokens,其中 95.7% 的提示 token 由缓存提供。在 GLM 5.3 上,规划器在相同重放负载下将预填充 GPU 小时数从 32.3 降至 17.1。

对于 Sarvam 105B,MXFP8 权重加上投机解码将输出吞吐量提升了约 2.2 倍。这使每个副本从 2 块 B200 减少到 1 块。Sarvam 表示这些改动都没有降低准确率。

它有多快?基准测试

以下所有数字均来自 Sarvam 的发布文章。它们是自报数据。

Sarvam 105B:单用户首 token 0.2 秒,330 tokens/s。

Gemma 4 31B(10K 提示词,孟买):首 token 0.40 秒,308 tokens/s,而另一家唯一提供商为 2.00 秒和 193 tokens/s。

Kimi K3.1 Pro(16 块 B200):每 GPU 6,177 对比 3,213 tokens/s,对手为 InferenceX,在每用户 70 tokens/s 条件下。

重度智能体负载(72 个会话):首 token 中位数 0.8 秒,而 InferenceX 为 11.6 秒。

GLM 5.3 Flash(64 个会话):p99 首 token 3.2 秒,而原生 vLLM 和 Dynamo 为 14.1 秒。

结果并非全面领先。在 10K 提示词的 DeepSeek V4.1 Flash 上,Together 的首 token 为 0.71 秒,而 Sarvam 为 0.90 秒。Together 的流式输出也更快,为 278 tokens/s,而 Sarvam Standard 为 130。

自动播放</button></div>

</div>

<div class="pn" data-p="1">

<div class="hl" id="stf-th">从孟买的首 token 时间(越低越好)</div>

<div class="ctl" style="margin:0 0 8px"><button class="btn on" data-k="d1">DeepSeek,1K</button><button class="btn" data-k="d10">DeepSeek,10K</button><button class="btn" data-k="g1">GLM 5.3,1K</button><button class="btn" data-k="g10">GLM 5.3,10K</button></div>

<div id="stf-ttft"></div>

<div class="note">秒。来源:Sarvam 技术博客,由 Sarvam 从孟买测量。未经独立验证。</div>

</div>

<div class="pn" data-p="2">

<div class="cards">

<div class="cd"><div class="k">1.9x</div><div class="t">Kimi K3.1 Pro 每 GPU tokens/s</div><div class="r">在每用户 70 tok/s、16 块 B200 条件下,6,177 对比 InferenceX 的 3,213。</div></div>

<div class="cd"><div class="k">0.8 秒</div><div class="t">72 个智能体会话的首 token 中位数</div><div class="r">而 InferenceX 为 11.6 秒。p95 为 3.1 秒对比 76.6 秒。</div></div>

<div class="cd"><div class="k">95.7%</div><div class="t">DeepSeek 提示词 token 来自缓存</div><div class="r">每天服务超过 450B tokens。</div></div>

</div>

<div class="hl">输出速度,DeepSeek V4.1 Flash(tokens/s,越高越好)</div>

<div id="stf-tp"></div>

<div class="note">点击卡片查看详情。来源:Sarvam 技术博客(自报数据)。</div>

</div>

<div class="pn" data-p="3">

<div class="calc">

<div><label>每月输入 token 数:<span id="stf-iv"></span>M</label><input type="range" id="stf-in" min="1" max="1000" value="100"></div>

<div><label>每月输出 token 数:<span id="stf-ov"></span>M</label><input type="range" id="stf-out" min="1" max="500" value="20"></div>

</div>

<table><thead><tr><th>模型</th><th>每 100 万输入 / 输出 token 的 ₹ 价格</th><th>你的每月成本</th></tr></thead><tbody id="stf-pt"></tbody></table>

<div class="note">价格来自 Sarvam 文档。Sarvam 105B 和 DeepSeek 的费率是截至 2026 年底的推广价。不含缓存折扣。</div>

</div>

<div class="pn" data-p="4">

<ul class="lim">

<li>所有速度和吞吐量数字均由 Sarvam 自行测量。</li>

<li>在 DeepSeek V4.1 Flash 上,Together 优于 Sarvam:10K 上下文下首 token 为 0.71 s 对 0.90 s,流式输出为 278 对 130 tok/s。</li>

<li>正常运行时间、SLA、速率限制和上下文窗口均未在发布文章或文档页面中列出。</li>

<li>Kimi K3.1 Pro 和 DeepSeek V4 Pro 需要预置吞吐量(Provisioned Throughput),且费率未公开。</li>

</ul>

</div>

<div class="ft"><span>来源:sarvam.ai/blogs/sarvam-token-factory · docs.sarvam.ai</span><b>© Marktechpost</b></div>

</div>

<script>

(function(){

var R=document.getElementById('stf-x');

function post(){try{parent.postMessage({stfHeight:R.offsetHeight+40},'*')}catch(e){}}

R.querySelectorAll('.tab').forEach(function(t){t.onclick=function(){R.querySelectorAll('.tab').forEach(function(x){x.classList.remove('on')});t.classList.add('on');R.querySelectorAll('.pn').forEach(function(p){p.classList.toggle('on',p.dataset.p==t.dataset.t)});if(t.dataset.t=='1')ttft(cur);if(t.dataset.t=='2')tp();setTimeout(post,60)}});

var steps=['开发者使用 OpenAI SDK 调用 Chat Completions。只有 base_url 和 API key 发生变化。','缓存感知路由器将请求发送到最有可能持有其前缀的 worker。错误路由的请求从 17.6% 降至 3.5%。','Prefill 和 decode 在独立的 GPU 池上运行。在 GLM 5.3 上,规划器将 prefill GPU 小时数从 32.3 降至 17.1。','Prompt token 尽可能从 GPU 内存或 G3 存储中提供。DeepSeek V4.1 Flash 在 95.7% 的 prompt token 上命中缓存。'];

var si=0,timer=null,nodes=R.querySelectorAll('.node');

function show(i){si=(i+4)%4;nodes.forEach(function(n){n.classList.toggle('act',n.dataset.s==si)});document.getElementById('stf-d').textContent=steps[si]}

nodes.forEach(function(n){n.onclick=function(){show(+n.dataset.s)}});

document.getElementById('stf-prev').onclick=function(){show(si-1)};

document.getElementById('stf-next').onclick=function(){show(si+1)};

document.getElementById('stf-play').onclick=function(){var b=this;if(timer){clearInterval(timer);timer=null;b.textContent=' 自动播放'}else{timer=setInterval(function(){show(si+1)},2200);b.textContent='❚❚ 暂停'}};

show(0);

var D={d1:[['Sarvam',.51],['Together',.61],['Fireworks',1.01],['DeepInfra',1.08]],d10:[['Sarvam',.90],['Together',.71],['Fireworks',1.55],['DeepInfra',1.75]],g1:[['Sarvam',.68],['Together',.82],['Fireworks',.84],['DeepInfra',2.17]],g10:[['Sarvam',1.19],['Together',1.19],['Fireworks',1.57],['DeepInfra',2.18]]};

var cur='d1';

function bars(el,rows,max,unit){el.innerHTML=rows.map(function(r){return '<div class="row"><div class="lb">'+r[0]+'</div><div class="bar"><i class="'+(r[0].indexOf('Sarvam')==0?'s':'')+'" data-w="'+(r[1]/max*100)+'"></i></div><div class="v">'+r[1]+unit+'</div></div>'}).join('');requestAnimationFrame(function(){setTimeout(function(){el.querySelectorAll('i').forEach(function(i){i.style.width=i.dataset.w+'%'})},30)})}

var TN={d1:'DeepSeek V4.1 Flash,1K prompt',d10:'DeepSeek V4.1 Flash,10K prompt',g1:'GLM 5.3,1K prompt',g10:'GLM 5.3,10K prompt'};function ttft(k){cur=k;document.getElementById('stf-th').textContent='从孟买的首 token 时间,'+TN[k]+'(越低越好)';bars(document.getElementById('stf-ttft'),D[k],2.3,' s')}

R.querySelectorAll('[data-k]').forEach(function(b){b.onclick=function(){R.querySelectorAll('[data-k]').forEach(function(x){x.classList.remove('on')});b.classList.add('on');ttft(b.dataset.k)}});

function tp(){bars(document.getElementById('stf-tp'),[['Sarvam Interactive',200],['Sarvam Standard',130],['Together',278],['Fireworks',193],['Baseten',165],['DeepSeek API',60]],290,'')}

R.querySelectorAll('.cd').forEach(function(c){c.onclick=function(){c.classList.toggle('op');setTimeout(post,350)}});

var P=[['Sarvam 105B',10,25],['DeepSeek V4.1 Flash 1017',14,55],['GLM 5.3 Flash',13.5,45],['Gemma 4 31B',35,90],['GLM 5.3',126,390]];

function price(){var a=+document.getElementById('stf-in').value,b=+document.getElementById('stf-out').value;document.getElementById('stf-iv').textContent=a;document.getElementById('stf-ov').textContent=b;

document.getElementById('stf-pt').innerHTML=P.map(function(p){return '<tr><td>'+p[0]+'</td><td>₹'+p[1]+' / ₹'+p[2]+'</td><td class="c">₹'+Math.round(a*p[1]+b*p[2]).toLocaleString('en-IN')+'</td></tr>'}).join('')}

document.getElementById('stf-in').oninput=price;document.getElementById('stf-out').oninput=price;price();

ttft('d1');

window.addEventListener('load',post);window.addEventListener('resize',post);setTimeout(post,300);

})();

</script>

</body></html>

">

费用是多少?

根据文档,价格以印度卢比计,按每 100 万 token 计算:

模型输入 / 输出(₹ 每 100 万)Sarvam 105B₹10 / ₹25(优惠价)GLM 5.3₹126 / ₹390GLM 5.3 Flash₹13.5 / ₹45Gemma 4 31B₹35 / ₹90DeepSeek V4.1 Flash 1017₹14 / ₹55(优惠价)

优惠定价持续到 2026 年底。更快的 DeepSeek Interactive 端点输入为 ₹25、输出为 ₹105。文档页面上未公布预置模型(Provisioned)的费率。

与其他推理提供商相比如何?

指标Sarvam Token FactoryTogether AIFireworks AIDeepInfra服务地点印度 GPU 集群未披露未披露未披露OpenAI 兼容 API是是是是第一方 LLMSarvam 105B未披露未披露未披露本地部署选项是未披露未披露未披露DeepSeek V4.1 Flash 1017 价格(每 1M 输入 / 输出)₹14 / ₹55$0.30 / $1.20$0.30 / $1.20$0.20 / $0.60(标价);$0.14 / $0.42(促销)缓存输入(每 1M)未披露$0.006$0.006$0.006孟买 TTFT,1K 提示(Sarvam 实测)0.51 s0.61 s1.01 s1.08 s孟买 TTFT,10K 提示(Sarvam 实测)0.90 s0.71 s1.55 s1.75 s输出速度(Sarvam 实测)130 tok/s(标准),200(交互)278 tok/s193 tok/s未披露

要点

Sarvam Token Factory 通过一个 OpenAI 兼容 API,从印度提供 Sarvam 及开源权重模型的服务。

Sarvam 105B 起价为每 1M token 输入 ₹10、输出 ₹25。

Sarvam 报告称,在 Kimi K3.1 Pro 上其每 GPU 吞吐量是 InferenceX 的 1.9 倍。

在 DeepSeek V4.1 Flash 的流式速度上,Together 仍然胜过它。

所有基准测试数字均为自报。

查看技术博客、API 文档以及 X 上的发布帖。你可以通过我们的 GPULeaderboard.com Chrome 扩展在此查看部署选项和规格。

另外,欢迎在 Twitter 上关注我们,别忘了加入我们 150k+ 的 ML SubReddit 并订阅我们的 Newsletter。等等!你在 Telegram 上吗?现在你也可以在 Telegram 上加入我们。

需要与我们合作推广你的 GitHub Repo 或 Hugging Face 页面或产品发布或网络研讨会等?联系我们

文章 Sarvam Launches Sarvam Token Factory: Bringing India-Hosted Inference to 8 Open Models 首发于 MarkTechPost。