AI Radar — 每天的 AI 热点、模型与教程

AI 网关是应用程序与模型提供商之间的控制层。它为每项服务提供统一的 API 来访问多种模型。它还集中处理路由、重试、故障转移、缓存、预算和日志。本指南介绍 2026 年最适合生产团队的 AI 网关。

今年市场变化很快。Palo Alto Networks 于 5 月 29 日完成了对 Portkey 的收购。Mintlify 收购了 Helicone，后者目前处于维护模式。LiteLLM 挺过了 3 月份的一起 PyPI 供应链入侵事件。如今选择网关不仅要考虑功能风险，还要考虑供应商和安全风险。

TL;DR

自托管性能最佳：Bifrost。Go 二进制文件，Apache 2.0，在 5,000 RPS 下公布的额外开销为 11 µs。

带护栏的最佳开源网关：Portkey。MIT 许可证，支持 1,600+ 模型，现由 Palo Alto Networks 支持。

采用最广泛：LiteLLM。53.8K GitHub stars，100+ 提供商，Python 优先。

最适合 API 平台团队：Kong AI Gateway。在同一技术栈中处理 LLM、MCP 和 A2A 流量。

最佳托管选项：Cloudflare（边缘，核心功能免费）、Vercel（零加价）、OpenRouter（模型访问）。

我们如何对这些 AI 网关进行排名

我们针对生产用途权衡了 6 项标准：

性能证据：公布的额外开销，以及测量方式。

覆盖范围：通过一个 OpenAI 兼容 API 接入的提供商和模型。

治理：虚拟密钥、预算、RBAC、审计日志、护栏。

部署：自托管、VPC、气隙环境，或仅托管。

成本模型：加价、平台费用、免费套餐限制。

供应商与供应链风险：许可证、所有权变更、安全历史。

快速对比：9 款最佳 AI 网关

1. Bifrost（Maxim AI）

它是什么：Bifrost 是一个用 Go 编写的开源 AI 网关。它通过一个兼容 OpenAI 的 API 暴露 23+ 家提供商。它以 Apache 2.0 许可发布，在 GitHub 上有 8.7K 星。

为何排名第一：它拥有所有自托管网关中最强的已公布性能数据。README 报告在 t3.xlarge 上、5,000 RPS 时增加 11 µs 延迟。在 t3.medium 上，该数字为 59 µs。Maxim 针对 LiteLLM 的基准测试报告，在 500 RPS 时 P99 延迟为 1.68 s，而后者为 90.72 s。

关键特性：

自动回退、加权负载均衡和语义缓存。

开源版本中带分层预算和速率限制的虚拟密钥。

MCP 网关支持，以及面向大型工具集的 Code Mode。

Prometheus 指标和 OpenTelemetry 追踪。

OpenAI、Anthropic 和 Google GenAI SDK 的即插即用端点。

最适合：必须在 VPC 或气隙网络内自托管的高吞吐团队。

2. Portkey

它是什么：Portkey 的 AI Gateway 是一个 MIT 许可的网关，在 GitHub 上有 13K 星。它声称可路由到 1,600+ 模型，延迟低于 1 ms，占用仅 122 KB。

排名理由：它将强大的路由能力与最深入的内置护栏目录相结合。Gateway 2.0 预发布版将 Portkey 的企业网关合并到开源中。Palo Alto Networks 现在拥有 Portkey，并将其整合进 Prisma AIRS。

关键特性：

回退、重试、条件路由、负载均衡和请求超时。

简单缓存和语义缓存。

输入和输出护栏，支持自带和合作伙伴选项。

MCP Gateway，具备集中式认证、访问控制和工具调用日志记录。

定价：Braintrust 的对比列出了一个免费层级，包含 10K 条记录请求。付费计划起价为每月 $49。

最适合：希望在一个开源网关中同时获得护栏和路由的团队。

3. LiteLLM

是什么：LiteLLM 是采用最广泛的开源 LLM 网关。它拥有 53.8K GitHub 星标，支持 100+ 提供商。它以 Python SDK 和代理服务器的形式发布。

排名理由：覆盖范围和生态系统深度无与伦比。它支持聊天、嵌入、图像、音频、批处理、重排序、MCP 和 A2A 端点。该项目在其自己的基准测试中报告，在 1K RPS 下 P95 延迟为 8 ms。

关键特性：

虚拟密钥、按团队支出跟踪、预算和 RPM/TPM 限制。

路由器支持跨部署的重试、回退和负载均衡。

管理 UI、护栏以及日志记录到 Langfuse、OpenTelemetry 等。

适用于 AWS 和 GCP 的 Terraform 模块，以及 cosign 签名的 Docker 镜像。

最适合：需要最大提供商覆盖范围且能运行代理的 Python 优先团队。

4. Kong AI Gateway

是什么：Kong AI Gateway 将 Kong 的 API 网关扩展到 AI 流量。它从一个平台治理 LLM、MCP 和智能体到智能体（A2A）流量。

排名理由：Kong 将成熟的 API 管理带入 AI。其网站指出，Gartner 连续第 7 年将 Kong 评为 API 管理领域的领导者。

关键特性：

PII 脱敏、语义提示词护栏和访问控制。

语义缓存、路由和负载均衡。

用户、模型和时间绑定的令牌配额，支持展示和分摊。

A2A 遥测，涵盖负载、延迟、令牌使用和调用方身份。

最适合：已经将 Kong 标准化用于 API 管理的企业。

5. TrueFoundry AI Gateway

它是什么：TrueFoundry 提供企业级 AI 网关，具备 LLM、MCP 和智能体网关功能。它声称可访问 1,600+ 个模型。

为何排名于此：它在 Gartner Peer Insights 的 AI 网关类别中按数量领先。它从 210 条评分中获得 4.8 分。

关键功能：

支持在 VPC、本地、气隙或多云环境中部署。

基于延迟的路由、加权负载均衡和地理感知路由。

在 vLLM、SGLang、KServe 和 Triton 上为自托管模型提供服务。

符合 SOC 2、HIPAA 和 GDPR 合规要求，支持 SSO、RBAC 和审计日志。

定价：每月前 30K 次请求免费，最多 3 个席位。

最适合：同时部署自有模型的受监管企业。

6. Cloudflare AI Gateway

它是什么：Cloudflare AI Gateway 是部署在 Cloudflare 边缘网络上的托管网关。只需一行代码即可完成设置。

为何排名于此：它是最便宜的托管入门选择。核心功能在所有套餐中均免费，包括分析、缓存和速率限制。

关键功能：

请求重试和模型回退。

所有套餐均提供免费 DLP 扫描。

使用 Llama Guard 3 8B 的护栏功能，按 Workers AI 推理计费。

统一计费，无推理加价。

最适合：已在 Cloudflare Workers 上构建的团队。

7. Vercel AI Gateway

它是什么：Vercel AI Gateway 是一个可从任何基础设施调用的托管网关。你的应用无需运行在 Vercel 上。

为何排名于此：它在托管层级中拥有最清晰的定价。Vercel 对 token 不收取加价和平台费，包括使用 BYOK 时。

关键功能：

文本、图像、视频、语音、转录、实时、嵌入和重排序。

按团队、项目、API 密钥或团队成员设置预算。

提供商排序加模型回退，并提供每次尝试的请求日志。

AI SDK、OpenAI、Anthropic Messages 和编码智能体集成。

最适合：希望使用零加价托管网关的 TypeScript 和 Next.js 团队。

8. OpenRouter

它是什么：OpenRouter 是一个托管 API，可路由到来自主要实验室和开放模型提供商的模型。它使用 OpenAI 兼容接口。

为何排名于此：它是通往广泛模型访问的最快路径。它按提供商价格透传，无推理加价。

关键功能：

出错时自动回退到下一个提供商。

路由变体：:nitro 用于吞吐量，:floor 用于价格。

提示词和补全默认不会被记录。

免费模型每天 50 次请求，购买 10 个积分后为 1,000 次。

最适合：原型开发、模型对比，以及希望统一账单的初创公司。

9. Orq.ai Router

它是什么：Orq.ai Router 是一个托管网关，可访问 20+ 家提供商的 400+ 个模型。它兼容 OpenAI。

为何排名于此：它将路由与评估、监控和预算整合到一个平台中。它面向有数据驻留和 EU AI Act 合规需求的欧盟团队。

关键特性：

智能路由、回退、重试和 BYOK。

预算控制和身份追踪。

支持 SOC 2 和 GDPR，并提供欧盟数据驻留。

最适合：希望从单一供应商获得网关、评估和治理的欧洲团队。

如何选择合适的 AI 网关

你必须自托管以满足合规要求：Bifrost、Portkey、LiteLLM 或 TrueFoundry。

高 RPS 下的延迟最重要：从 Bifrost 开始，然后在你自己的流量上验证。

你需要护栏和 PII 控制：Portkey、Kong 或 TrueFoundry。

你已经在运行 Kong、Cloudflare 或 Vercel：优先使用该平台的网关。

你只是需要快速接入许多模型：OpenRouter 或 Vercel。

无论你选择哪个，都要用哈希校验固定网关版本。LiteLLM 事件说明了原因：你的网关持有你拥有的每一个提供商密钥。

关键要点

Bifrost 在已公布的自托管性能上领先：5K RPS 下开销为 11 µs。

Portkey 和 Helicone 都在 2026 年更换了所有者。检查路线图风险。

LiteLLM 仍然拥有最大的生态系统，但要固定并验证发布版本。

Cloudflare 和 Vercel 提供最便宜的托管入门方案。

把每个供应商的基准测试都当作一种声明。对你自己的工作负载进行基准测试。

来源：Bifrost GitHub、LiteLLM GitHub、Portkey Gateway GitHub、Kong AI Gateway、TrueFoundry、Cloudflare pricing、Vercel pricing、OpenRouter FAQ、Gartner Peer Insights。

文章《2026 年 9 个最佳 AI 网关：Bifrost、Portkey、LiteLLM、Kong 及另外 5 个排名》首发于 MarkTechPost。

2026 年 9 款 AI 网关评测：Bifrost、Portkey、LiteLLM 等排名

1 个独立信源

相关条目