如果你为开源权重模型支付 API 账单，你可能会想自己的 GPU 是否成本更低。GPU 租金按小时计费，无论忙闲，而 API 只按你使用的 token 收费。

只有当你的流量能让 GPU 在足够多的时间里保持忙碌时，自托管 LLM 的成本才更低。按 2026 年 10 月 8 日的价格，一个 27B 模型跑在一张租用的 RTX 3090 上，盈亏平衡点约为 12% 负载，而一个大型混合专家模型跑在租用的 H200 上，永远无法胜过最便宜的零数据保留（ZDR）API 端点。

本文用来自我们 API 的各供应商实时价格来推算盈亏平衡点，然后展示我们的数据控制如何覆盖隐私。

TL;DR

  • 盈亏平衡负载等于 GPU 每小时租金除以同样一小时 token 通过 API 的成本。低于该负载时，API 更便宜。

  • DeepSeek V4.1 Flash 跑在四张租用的 H200 上，永远无法胜过最便宜的 ZDR 端点。跑在两张 B200 上，按我们找到的最低租金，它需要 76% 的负载。

  • 按 10 月 8 日的价格，Qwen3.8 27B 跑在一张每小时 0.50 美元的 RTX 3090 上，盈亏平衡点为 6% 到 12% 负载，但每个用户只能获得约每秒 15 个 token。

  • 已公布的自托管成本约为每百万 token 一美分，其中大多计入的是缓存输入 token，而这类 token 通过 API 也几乎免费。

  • 大多数隐私要求并不需要自托管。provider.zdr 会将请求限制在零数据保留端点上，而我们的欧盟和美国域名会将请求保留在区域内。

如何判断自托管是否划算？

取 GPU 一小时的时间，用两种方式定价。一边是租金。另一边是 API 对这块 GPU 一小时内能服务的 token 所收取的费用，速度需为用户可接受的水平。

盈亏平衡负载 = 每小时 GPU 租金 / 满载 GPU 一小时 token 的 API 成本

盈亏平衡为 30% 意味着，在你租用 GPU 的时间里，它必须忙碌 30% 的时间，成本才会低于 API。任何高于 100% 的值都意味着，即使 GPU 从不休息，API 也胜出。

两边都必须按相同的 token 组合定价，因为输入、缓存输入和输出 token 的 API 价格差异很大。我们还排除了工程时间和为流量峰值保留的备用容量，因此本文中的每个盈亏平衡点都是下限。

同一个开源权重模型的 API 成本是多少？

大多数开源权重模型由许多提供商提供服务。每一家都在自己的硬件上运行自己的权重副本，并自行定价。我们的端点 API（GET /api/v1/models/{author}/{slug}/endpoints）会返回某个模型每个提供商的价格和精度，而 GET /api/v1/endpoints/zdr 会列出带有 ZDR 策略的端点。截至 2026 年 10 月 8 日，它们返回了：

模型端点数（ZDR）输入 $/M缓存输入 $/M输出 $/M
qwen/qwen3.8-27b18（14）0.024 至 0.990.02 至 0.991.49 至 5.25
deepseek/deepseek-v4.1-flash31（24）0.016 至 0.450.0007 至 0.200.14 至 1.80

对于相同的权重，Qwen3.8 27B 输出最贵的提供商收费是最便宜提供商的 3.5 倍，而 DeepSeek V4.1 Flash 则接近 13 倍。按单一标价算出的盈亏平衡点可能偏差很大。提供商提供的精度也各不相同，从 fp4 到 bf16，而我们的LLM 量化文章衡量了这会多大程度改变答案。

我们在真实工作负载上花了多少钱

推理模型在回答前会花输出 token 进行思考，而智能体每一轮都会重发整个上下文。因此我们对每个模型运行了两个强制启用 ZDR 的工作负载，并用 GET /api/v1/generation 为每个请求计价，它会报告提供商实际计费的 token 和成本：

工作负载模型请求数输入 token（缓存占比）输出 token（推理占比）成本每 100 万输出 token
围绕 5k token 文档的对话DeepSeek V4.1 Flash1053,330（68%）12,476（97%）$0.0110$0.88
8 轮智能体，60k token 上下文DeepSeek V4.1 Flash8504,747（75%）28,509（83%）$0.0243$0.85
围绕 5k token 文档的对话Qwen3.8 27B1072,329（56%）25,084（97%）$0.0694$2.77
7 轮智能体，85k token 上下文Qwen3.8 27B7595,223（100%）81,870（99%）$0.1900$2.32

最后一列用包含输入在内的总成本除以输出 token。几乎每个输出 token 都是推理，而自托管的模型副本会产生相同的 GPU 时间来生成它们。Qwen3.8 27B 还在其 7 个智能体轮次中的 3 个里，仍在思考时就触及了我们 16,000 token 的上限。本文的所有 API 运行总共花费 $0.49。

自托管 LLM 的运行成本是多少？

这些 GPU 不是我们自己租的。自托管部分使用的是公开基准测试和租赁价格，因此每一行都当作一个假设来看待：

配置每 GPU 吞吐量来源每 GPU-小时租金
DeepSeek V4.1 Flash，4x H200，vLLM fp4，32 个并发会话35,084 输入 + 231 输出 tok/s，95% 的输入被缓存，每用户 71 tok/sInferenceX智能体轨迹，2026-09-21$2.90（InferenceX 零售档），$4.59（RunPod）
DeepSeek V4.1 Flash，2x B200，vLLM fp4，32 个并发会话117,225 输入 + 683 输出 tok/s，96% 被缓存，每用户 232 tok/sInferenceX，2026-10-03$3.70（InferenceX 零售），$6.79（RunPod），$6.89（Lambda）
Qwen3.8 27B，1x RTX 3090，vLLM W4A16，64 并发输入 128 tokens / 输出 512 tokens 时 942 输出 tok/s，每用户约 15 tok/sHyperQwen基准测试$0.50（RunPod），或自有显卡约 $0.05 的电费（250 W，按EIA2026 年 7 月美国居民电价）

DeepSeek V4.1 Flash 拥有552B 主干参数，因此需要多 GPU 节点。Qwen3.8 27B是稠密模型，4 位量化下可装进单张 24 GB 显卡。

吞吐量按 InferenceX 的报告方式为每 GPU 计，因此本文中每项成本都是每 GPU-小时。每用户速度只计算响应生成的时间，而这些智能体会话大部分时间花在预填充上，所以它不能相乘得出总量。3090 的数字来自 HyperQwen 经过大量补丁的 vLLM 构建，因此应视为最佳情况。

我们采用其包含预填充的端到端数字，而非其 1,035 tok/s 的纯解码头条数字。HyperQwen 基准测试使用的是 128 token 的提示，而我们的聊天提示要长得多，因此针对我们的聊天组合，我们根据其测得的预填充和解码速率估算出每秒 565 个输出 token。

自托管何时才划算？

对于每种配置，我们取基准测试测得的每小时 token 量，将其拆分为未缓存输入、缓存输入和输出，并按该模型每个 ZDR 端点为此组合定价，然后用租金除以结果。API 价格来自 2026 年 10 月 8 日：

配置每 GPU-小时租金同一小时的 API 成本，最便宜 ZDR / ZDR 中位数相对最便宜 ZDR 的盈亏平衡负载相对 ZDR 中位数的盈亏平衡负载
DeepSeek V4.1 Flash，4x H200$2.90$1.70 / $3.54从不82%
DeepSeek V4.1 Flash，4x H200$4.59$1.70 / $3.54从不从不
DeepSeek V4.1 Flash，2x B200$3.70$4.87 / $9.9576%37%
DeepSeek V4.1 Flash，2x B200$6.79$4.87 / $9.95从不68%
Qwen3.8 27B，1x RTX 3090，短提示词$0.50$5.89 / $8.358%6%
Qwen3.8 27B，1x RTX 3090，我们的聊天混合负载（估算）$0.50$4.33 / $6.1412%8%
Qwen3.8 27B，自有 RTX 3090，仅电费$0.05$5.89 / $8.351%1%

“从不”意味着即使满载 100%，租金也高于 API 成本。价格变动很快。10 月 19 日，Qwen3.8 27B 的一个新 ZDR 端点每百万输出 token 收费 $0.50，这将短提示词的盈亏平衡点推至约 29%。

Bar chart of the API cost of a fully loaded GPU-hour vs rent, with API prices from OpenRouter on October 8, 2026. DeepSeek V4.1 Flash on 4x H200: rent $2.90, API $1.70. DeepSeek V4.1 Flash on 2x B200: rent $3.70, API $4.87. Qwen3.8 27B on 1x RTX 3090, short prompts: rent $0.50, API $5.89. Qwen3.8 27B on 1x RTX 3090, chat mix (estimated): rent $0.50, API $4.33.

从你实际拥有的负载出发。只在工作时间到达的流量，即一周 168 小时中的 40 小时，最多只能让 GPU 忙碌 24% 的时间。按 10 月 8 日的价格，这排除了所有 DeepSeek 行，只剩下 3090。对照 10 月 19 日的端点，3090 需要约 29%，所以购买前请核对当前价格。全天候运行的批处理流水线可以达到 70%，这使两行 B200 都进入了对照 ZDR 中位价格的范围，但两者都无法与最便宜的端点相比。

按月计算，租用的 3090 每月花费 $365，在服务约 1.7 亿个我们聊天混合负载的输出 token 后即可回本。双 B200 节点按零售租金每月花费 $5,402，必须服务 27 亿个输出 token 才能胜过最便宜的 ZDR 端点。

小模型胜出，是因为其 API 价格相对于所需硬件而言偏高。供应商对 Qwen3.8 27B 每百万输出 token 收费 $1.49 至 $5.25，而一张每小时 $0.50 的卡每小时可产出约 340 万个。DeepSeek V4.1 Flash 则相反。有 24 个 ZDR 端点争夺其流量，最便宜的每百万输出 token 仅收费 $0.18。

3090 的低成本伴随着速度上的取舍。它通过同时服务 64 个请求来达到该吞吐量，每个请求约每秒 15 个 token。这对聊天界面来说很慢，对于在给出答案前要写数千个隐藏 token 的推理模型来说就更慢了。在我们拉取数据前的 30 分钟内，Qwen3.8 27B 的 18 个 API 端点中，中位速度为每秒 45 个 token，最快的为 474。

为什么公开的自托管成本看起来如此之低？

如果你看到自托管报价大约为每百万 token 一美分，那通常是 token 构成比例造成的。InferenceX 按超大规模厂商定价，将 DeepSeek V4.1 Flash 在 H200 上的成本算为每百万 token 0.012 美元。该数字是按每百万总 token 计算的，而在其智能体工作负载中，99% 的 token 是输入，其中 95% 由前缀缓存提供。通过 API，该模型的缓存输入价格为每百万 token 0.0007 至 0.20 美元，因此无论哪种方式，这些 token 都很便宜。

按输出 token 计价，同样的 H200 在 2.90 美元的零售租赁价格下，在计入任何输入之前，成本为每百万 3.49 美元。最便宜的 ZDR 端点收费 0.18 美元。

你需要为了隐私而自托管吗？

隐私是自托管的另一个常见原因，而你可以通过 API 获得其中大部分。在请求上设置 provider.zdr 会将其限制在提供商不存储你的提示或补全的端点上。如果你的 ZDR 设置还允许安全保留端点，这些端点可能会保留提示和响应以检测滥用，因此仅当你完全不需要保留时才选择 ZDR。具有隐式缓存的提供商也可能在短时间内保留派生的 KV 缓存数据，正如我们的隐式缓存说明所述。你还可以在整个账户范围内、按模型组、或在覆盖特定 API 密钥的护栏中强制执行 ZDR。在 Business 和 Enterprise 计划中，发送到 eu.openrouter.ai 或 us.openrouter.ai 的请求仅在该account-wide, per model group, or in a guardrail that covers specific API keys. On the Business and Enterprise plans, requests sent to eu.openrouter.ai or us.openrouter.ai run only on endpoints in that区域的端点上运行，并且它们会失败而不是离开该区域。

此脚本尝试两者，包括两个我们预期会失败的请求：

"""隐私路径：按请求的 ZDR、ZDR 冲突，以及欧盟区域内路由。"""
importos

importrequests

KEY={"Authorization":f"Bearer{os.environ['OPENROUTER_API_KEY']}"}
MSG=[{"role":"user","content":"Reply with the word ok."}]

defask(base, model, provider=None):
body={"model": model,"messages":MSG,"max_tokens":400,"provider": provideror{}}
r=requests.post(f"{base}/api/v1/chat/completions",json=body,headers=KEY,timeout=120)
data=r.json()
ifr.status_code==200:
returnf"{r.status_code}served by{data['provider']}"
returnf"{r.status_code}{data['error']['message']}"

GLOBAL,EU="https://openrouter.ai","https://eu.openrouter.ai"

print("1. ZDR on, any provider:     ", ask(GLOBAL,"deepseek/deepseek-v4.1-flash", {"zdr"：True}))
print("2. 开启 ZDR，仅使用 DeepSeek API："，ask(GLOBAL，"deepseek/deepseek-v4.1-flash"，{"zdr"：True，"only"：["deepseek"]}))
print("3. EU 域，DeepSeek：      "，ask(EU，"deepseek/deepseek-v4.1-flash"))
print("4. EU 域，GLM 5.3 + ZDR： "，ask(EU，"z-ai/glm-5.3"，{"zdr"：True}))

eu_models=requests.get(f"{GLOBAL}/api/v1/models"，params={"region"："eu"}，timeout=60).json()["data"]
print(f"5. 符合 EU 区域内路由条件的模型：{len(eu_models)}"）

输出记录于 2026 年 10 月 8 日：

1. 开启 ZDR，任意提供商：      200，由 Decart 提供服务
2. 开启 ZDR，仅使用 DeepSeek API：404 未找到符合你的数据策略（零数据保留）的端点。配置：https://openrouter.ai/settings/privacy
3. EU 域，DeepSeek：       404 未找到支持你的数据区域的端点。
4. EU 域，GLM 5.3 + ZDR：  200，由 Inceptron 提供服务
5. 符合 EU 区域内路由条件的模型：72

两个过滤器都在我们选择提供商之前运行，因此它们会缩小候选端点的列表，而不是在事后重新路由。开启 zdr 后，DeepSeek 自己的 API 会被排除，因为它会保留数据。用 only 将请求固定到该提供商后，就完全没有端点了，于是返回第一个 404。EU 域只保留我们已在欧洲接入的端点。DeepSeek V4.1 Flash 没有任何此类端点，所以第三个请求失败了，而不是悄悄转到美国。要使用 EU 路由，请从 GET /api/v1/models?region=eu 中选择带有 EU 端点的模型，该接口列出了 72 个模型，包括 GLM 5.3。

ZDR 有一个限制。你的提示词仍然会在提供商的 GPU 上处理，因此它并不能让你控制硬件。如果你的策略要求模型运行在你控制的部署上，私有端点（Enterprise 套餐）可将你自己的专用或微调部署添加到目录模型提供商的列表中。它必须托管在我们支持 BYOK 的提供商处，你的团队用相同的 slug 调用它，如果你列出公共端点，它们仍可作为回退使用。如果数据绝不能离开你运营的硬件，请自行托管，并根据上面的盈亏平衡表来确定硬件规模。我们的ZDR 说明和数据驻留指南更详细地比较了这些选项。

可以同时自行托管和使用 API 吗？

是的，对大多数团队来说，盈亏平衡表指向的就是这种配置。GPU 只有在高负载下才划算，所以自建的那部分按你流量的稳定基线来定规模，让它保持忙碌，而把峰值流量发给 API，只为实际用量付费。

这之所以可行，是因为 vLLM 和 SGLang 暴露的 OpenAI 兼容聊天 API 与我们相同。客户端只需更改 base URL、密钥和模型名，就能在它们之间切换。在连接出错时回退到 API，或在你的服务器队列满时返回 429 或 503 时回退。在 API 侧设置 provider.zdr，让溢出流量保持零数据保留。如果你的策略要求提示词留在你控制的硬件上，就不要溢出到 API。

这种配置有两个地方可能出问题。如果你的本地副本运行的精度与 API 端点不同，同一个提示词可能得到不同的答案，所以要把 API 侧固定到匹配的量化，使用提供商路由。而一个中途切换后端的对话会丢失它的提示词缓存，所以每个对话一旦开始就保持在同一边。

常见问题

自托管 LLM 值得吗？

仅从成本看，只有你能让 GPU 保持忙碌才值得。在我们的数据中，Qwen3.8 27B 在租用的 RTX 3090 上于 6% 到 12% 负载时达到盈亏平衡。DeepSeek V4.1 Flash 在租用的数据中心 GPU 上需要 37% 或更高的负载，而对比最便宜的零数据保留端点，它往往永远无法达到盈亏平衡。隐私和控制可以在任何负载下为自托管提供理由。

哪个 LLM 最适合自托管？

能装在一张 GPU 上的模型最合适，因为它们避免了多 GPU 服务器，而且它们的 API 价格留出了最大的节省空间。例如，Qwen3.8 27B 以 4 bit 精度运行在一张 24 GB 显卡上。我们的排名以及开源权重与闭源权重对比展示了开发者最常使用哪些模型。

最便宜的自托管 LLM 方案是什么？

你已经拥有的一张 GPU。一张限制在 250 W 的 RTX 3090，按 2026 年 7 月美国居民平均电价计算，每小时电费约 0.05 美元，所以对 Qwen3.8 27B 来说，只要它忙碌约 1% 的时间，就能胜过最便宜的零数据保留端点。代价是每个用户的响应更慢，以及你自己花在维护上的时间。

我能托管自己的模型，同时通过 OpenRouter 使用它吗？

是的，在企业版计划上。私有端点会将目录模型的 slug 路由到你自己的专用或微调部署，托管在我们支持 BYOK 的提供商处。只有你批准的用户和组织才能看到或调用它。

后续步骤