如果你在不止一个 LLM 提供商上构建过东西,你就知道这套流程。OpenAI 的 SDK 在这边,Anthropic 的在那边,再加一个包装层让它们看起来一样,还有你凌晨 2 点写的、自己都不太信得过的重试逻辑。LLM 网关本应把这些都替你处理掉:一个端点、任意模型,管道连接由它搞定。
Respan Gateway是一个新的开源网关,用 Rust 编写,自 10 月起公开。我在自己的 Windows PC 上安装了它,把它指向 Gemini,故意弄坏了一个提供商,然后验证它是否名副其实。以下内容全部来自那次运行:真实的命令、真实的耗时、真实的截图。
Respan Gateway 是什么
Respan Gateway是一个单一二进制文件,位于你的代码和 AI API 之间。你把自己已经在用的 SDK(OpenAI、Anthropic 或 Gemini)指向它,请求任意模型,它就会把请求翻译成该模型提供商所使用的格式。
在我运行它之前,最引人注目的几点:
- 一切都是插件。提供商、路由、定价、MCP 和追踪都构建在同一个公开的 Rust API 之上,你可以用这个 API 编写自己的插件。
- 内置 16 个提供商,包括 OpenAI、Anthropic、Gemini、xAI、DeepSeek、Mistral、Groq、OpenRouter、Ollama 和 vLLM,以及任何兼容 OpenAI 的端点。
- MIT 或 Apache-2.0,自托管,免费。
- 内置 Web UI,带有实时请求日志、playground 和路由调试器。
在 Windows 上安装它
Respan 的文档列出了四种安装方式:pip install respan-gateway(会附带编译好的二进制文件,支持 Windows)、cargo install、发布版 zip,或 Docker。在一台 Linux 机器上,pip install 大约花了 3 秒。
我的配置
你完全可以不带任何配置启动:导出一个提供商密钥,然后运行 respan-gateway。这次测试我想要一个可以故意弄坏的备用路由,所以我写了一个小的 gateway.toml。它把 Gemini 作为真实提供商,另外还有一个名为 down 的提供商,指向一个没有任何服务监听的本地端口:
[providers.gemini]
vendor = "gemini"
key = "env:GEMINI_API_KEY"
# Nothing listens on port 9: this provider is "down" on purpose
[providers.down]
formats = ["openai-chat"]
base_url = "http://127.0.0.1:9/v1"
# Any bare "gemini-*" model tries the dead provider first, then Gemini
[routes."gemini-*"]
to = ["down/{model}", "gemini/{model}"]
tries = 2
backoff = "200ms"
密钥放在配置文件旁边的 .env 文件里,网关在启动时读取。启动之前,respan-gateway check 会校验该文件,并准确打印出它将提供的内容:提供商、端点、路由以及是否开启鉴权。这让我省去了猜测再重启的循环。关于端口的一点说明:网关的默认端口是 8080。在我最后一次运行时,我用 --listen 127.0.0.1:8081 启动它,因为之前的一个测试仍占用着 8080,所以我的截图显示的是 8081。本文中的代码使用的是默认端口 8080。
同样的配置会显示在 Web UI 中,密钥被隐藏:
有一个我喜欢的默认设置:在未配置客户端密钥时,网关只在回环地址上响应,并且拒绝在公网地址上启动。你不会因为忘记某个设置而意外暴露你的提供商密钥。
任意 SDK,任意模型
这是主打功能,所以我最先测试了它。我把同一个提示词两次发送给 gemini/gemini-3.5-flash-lite:一次用 Anthropic Messages 格式(POST /v1/messages),一次用 OpenAI Chat 格式(POST /v1/chat/completions)。两次都正确返回,分别耗时 1.03s 和 1.52s。
网关把 Anthropic 格式的请求转换成 Gemini 调用,再把答案翻译回来,包括以 Anthropic 的形式返回用量(input_tokens、output_tokens)。UI 中的请求详情清楚地显示了这一点:format anthropic-messages,provider gemini。
Playground 让这一点更加直观。我选择了 Anthropic Messages API 和一个 Gemini 模型,回复被标注为“served by gemini”和“translated from Anthropic Messages”:
在代码中,整个技巧就是这样:保留你的客户端,改掉 base URL,改掉模型字符串。
from anthropic import Anthropic
client = Anthropic(base_url="http://localhost:8080", api_key="unused")
reply = client.messages.create(
model="gemini/gemini-3.5-flash-lite",
max_tokens=1024,
messages=[{"role": "user", "content": "In one sentence, what does an LLM gateway do?"}],
)
过程中我遇到两件事,都不是网关的问题:
- Google 在我使用期间下线了一个模型。我最初选的 gemini-2.5-flash 已对新用户关闭。网关把 Google 自己的 404 消息原样透传出来,所以很明显该改什么。
- 思考 token 会吃掉小额度预算。在完整的 Gemini 3.5 Flash 和 max_tokens=150 下,模型花了 140 个 token 用于思考,并返回了被截断的答案。网关在用量中如实报告了这一点(thinking_tokens: 140)。提高预算并改用 Flash Lite 解决了问题,回复时间降到约 1 秒。
回退:故意弄坏一个提供商
这是我最关心的测试。我直接请求裸模型名 gemini-3.5-flash-lite,它会匹配 gemini-* 路由。网关先尝试 down,失败后重试,然后回退到 Gemini。我跑了三次:
每次调用都返回 200 和正确答案。客户端从未看到失败。有意思的是第 3 次调用:在四次失败后,网关把 down 置为冷却并跳过它,因此请求在 0.79 秒内直接发往 Gemini。
前两次调用各耗时约 5 秒。其中大部分时间很可能是 Windows 在放弃前重试连接一个已死的本地端口,而 tries = 2 使其翻倍。一个能快速返回错误的提供商会让故障转移快得多。无论如何,值得根据你的环境调整 tries 和 backoff。
网关自己的日志也印证了这一点。第三行显示裸模型名被路由到 gemini:
)
我最喜欢的调试功能在路由页面。在 "Try a model" 中输入模型名,它会显示请求会去哪里以及为什么。这里它显示 down 的错误率为 100%,Gemini 为 682 ms,且没有发送任何请求:
其中一个故障转移请求的详情视图显示了完整的 4.97 秒,以及是 gemini 处理的:
路由能做的远不止普通回退。它们可以挑选最便宜、最快、加权或随机,对冲用第二个提供商对冲一个慢调用(hedge = "200ms"),用 needs = ["tools"] 过滤,并匹配像我用的那种 glob。配置更改无需重启即可重新加载(--watch 或 SIGHUP)。
Web UI
打开http://localhost:8080/ui/你会得到一个像样的仪表盘,而不是事后补的。在我干净运行之后:5 个请求,0% 错误,输入和输出 token,以及按提供商统计。
这个请求页面是一个实时日志,包含每次调用的模型、端点、提供商、状态、延迟和 token,还有过滤器和导出:
提供商显示每个上游、它提供什么以及它支持哪些格式:
模型列出了我的 Gemini 密钥能访问的全部 57 个模型,以及上下文窗口:
注意那个空的价格 / M列。只有当提供方的模型列表里包含价格,或者你自己声明了价格时,网关才知道价格,而 Gemini 的列表里没有。所以开箱即用时,我能拿到 token 数,但拿不到 Gemini 的美元金额。你可以为每个模型写几行配置来修复这个问题:
[models."gemini/gemini-3.5-flash-lite"]
pricing = { input = 0.30, output = 2.50 } # 每百万 token 的美元价格,Google 的标价(2026 年 11 月)
网关侧 MCP
这个我没测试,但它足够特别,值得提一下。你可以把 MCP 服务器或内置工具供应商(网页搜索、浏览器、代码沙箱、记忆)放在网关后面,由网关在内部执行这些工具,作为聊天请求的一部分。一个从未听说过 MCP 的普通聊天客户端仍然可以使用它们。
性能
性能是 Respan 的主要卖点。以下是他们 README 中公布的数字:
公平地说,有两点需要注意。这些是 Respan 自己的基准测试,而且 LiteLLM 是以单 worker 运行的,所以扩展它的 worker 数量会缩小差距。我没有做负载测试。我能说的是,网关没有增加任何我能察觉到的开销:我的往返时间主要花在 Gemini 本身。
我不喜欢的地方
- 它还很年轻。撰写本文时是 v0.3.0。预计在一段时间内,它的供应商列表、插件生态和社区都会比 LiteLLM 的小。
- 开箱即用时没有 Gemini 的价格。在你声明价格之前,请求日志只显示 token,不显示美元金额。
- 失败的尝试在 Providers 页面上不可见。那里显示 0 个请求,而 Routes 页面正确地显示它 100% 出错。Routes 页面才是该看的地方。
- 自定义插件意味着要用 Rust。插件 API 很干净(一个 trait,四个钩子),但纯 Python 团队只能使用配置和内置功能。
- 文档在某些地方比较单薄。有用的路由细节(pick、tries、hedge)在仓库的 docs/configuration.md 和 gateway.example.toml 里。先读这些。
谁应该使用它
如果你想要一个延迟和内存开销都很低的自托管网关,喜欢把路由和回退放在一个可读的 TOML 文件里,并且想混用不同 SDK 和供应商而无需重写客户端代码,那么 Respan Gateway 最合适。
如果你现在需要最广泛的集成列表,或者成熟的企业级功能集,LiteLLM 目前仍然是更稳妥的选择。
对我来说,那些重要的部分在真实提供商上完全按描述正常工作。Anthropic 格式的请求从 Gemini 返回了,一个失效的提供商被绕开并随后进入冷却,而 check 加上 Routes 页面让人很容易看清网关在做什么以及为什么。对于一个 v0.3 版本来说,这超出了我的预期。














