TLDR;了解何时利用GLOBAL选项,以及我们如何构建多区域路由,以在推理热路径之外处理全球工作负载放置,从而优化低延迟、韧性和运维便捷性。

没有任何一个区域是无限的 GPU 资源池。

Fireworks 拥有全方位的服务选项,并在全球范围内运营,覆盖数十家云提供商的 30 多个区域,是业内最大的独立 GPU 集群之一。然而,庞大的全球覆盖只有在你的调度器真正有权使用时才能保护你的正常运行时间。将工作负载固定到单个区域会施加人为的容量上限。当区域资源紧张时,下一个可用的兼容 GPU 可能位于美国、欧洲、加拿大或亚太地区完全不同的数据中心。

传统上,团队被迫手动配置冗余的多区域端点,拼凑自定义的区域路由器,并不断处理故障转移逻辑。Fireworks 已引入对GLOBAL选项的支持,让你跨地理区域运行工作负载。这使你的架构统一在一个部署身份和一个端点之下,免除了管理全球映射的运维负担。

智能路由,无需承担延迟代价

Fireworks 设计了多区域放置和路由,使全局调度永远不会成为实时推理管道的瓶颈。

当你的工作负载被标记为GLOBAL时,调度器会在尽可能广泛的合格容量池中动态映射请求,同时严格遵循你的独特参数:

  • •加速器类型和硬件要求
  • •配额和成本护栏
  • •可靠性层级和合规边界
  • •数据驻留和放置约束

你保持完整的治理和单端点的简洁性,而 Fireworks 则承担起驾驭全球基础设施的复杂性。

  • •多区域能为你带来什么?更多兼容容量可以贡献给同一个部署。当活跃节点分散时,另一个分片可以在间歇性故障时保持可用。放置位置可以变更,而无需新的公共端点。
  • •会GLOBAL让每个请求都变慢吗?它不会增加一次全局调度器往返或全区域探测。在正常的公共 API Gateway 路径上,DNS 会在健康的网关池之间进行就近引导,网关将首次尝试发送到由控制平面发布的 router 记录构建的顺序中的第一个候选。到所选计算资源的网络距离仍然重要;这个设计移除的是每次请求的全局路由步骤,而不是声称物理距离消失了。
  • •部署可以在哪里运行?Fireworks 支持GLOBAL,US,EUROPE,以及APAC,CANADA多区域范围。请参阅当前区域目录以获取实时位置和硬件列表。在你的本地性和数据驻留要求允许的范围内,选择最宽泛的边界。
Figure 1: Multi-Region Boundaries
图 1:多区域边界

生产环境中 99.99% 的成功率

在一项为期七天的生产研究中,信号指向了该架构设计所期望的方向:可全球部署的队列与更高的就绪节点满足率相关,而实际实现的多集群部署则与每次请求更少的响应相关。

在外部客户标记的、可全球部署的队列中,部署天数出现在 2 个以上服务集群时,请求成功率从单区域部署的 99.269% 提升到多区域部署的 99.992%。这帮助我们为可全球部署的客户部署实现 99.99% 的可靠性目标。

这些是观察性信号,不是 A/B 测试,也不是通用的正常运行时间承诺。服务集群标签是基础设施集群,而非标准化区域;流量集中在少数账户中,配对账户的结果好坏参半。敏感性检查保持了总体方向,但并未使其具备因果性。

这些数字说明了这个项目为何重要。而实现的故事始于一个我们的架构无法求解的方程。

为什么我们必须重新设计部署看待基础设施的方式

一个推理部署请求八个节点。弗吉尼亚有四个符合条件的节点槽位。爱荷华还有四个。

整个集群有八个。我们的旧调度器仍然拒绝了这个部署。

它的行为是正确的。而这正是问题所在。

调度器问的不是“整个集群是否有八个符合条件的节点?”而是“是否有一个区域拥有全部八个?”两者都不满足,因此部署最终以RESOURCE_EXHAUSTED结束。

复制

12

legacy:max(4,4)<8→ 拒绝

global:4+4=8→ 放置

四加四等于零。

Figure 2: Four Plus Four Illustration
图 2:四加四示意图

这一约束被内建在架构中:每个部署都属于单一区域。

在新架构下,一个部署可以通过单一端点从多个区域获取兼容容量。调度器会遵循硬件要求、区域限制、可靠性策略和地理边界。

让全局调度远离请求路径

Fireworks 会在流量到来之前规划放置,因此请求无需查询调度器或探测每个区域。

  • •从附近健康的网关开始。DNS 会根据邻近性将请求导向健康的网关。
  • •路由到可用算力。网关使用预先准备好的路由信息来选择每个请求的发送目的地。
  • •符合条件时重试。在符合条件的故障发生时,如果路由策略允许且请求可以重试,网关可以尝试另一个目的地。

网络距离仍然重要:附近的网关可能会路由到更远的算力。这种设计避免了逐请求的全局路由步骤;它并没有消除地理延迟。

选择你的工作负载所允许的最宽边界

本地性和数据驻留要求可能需要 US、EUROPE 或 APAC。对于没有这些要求的工作负载,GLOBAL 能给调度器最大的空间来寻找兼容容量,或在范围内其他地方存在兼容供给时重新规划卡住的节点。

Figure 3: Choose the Boundary You Need US vs. Global
图 3:选择你需要的边界

你选择边界。调度器找到可行方案。网关保持一个端点与其相连。

四加四又等于八了。

接下来