清除条件
共 1 条
Hugging Face 博客10/09模型产品雷达海外

Ai2 用预算制替换优先级调度器管理 GPU 集群

Ai2 的 AI 基础设施团队管理数千块 NVIDIA H100、B200、B300 GPU,集群规模 88 到 1024 块,服务约 150 名内部研究员,GPU 需求长期是供给的 2-3 倍。团队用 GPU 时间预算、分层公平分配和时间切片合约替换了原有的优先级调度器。旧方案下出现 GPU「占坑」、优先级通胀(100% 工作负载都用 HIGH 优先级)以及工程师大量时间用于协商关闭不可抢占任务等问题。新方案把各研究项目该分多少 GPU 时间的争论从逐案运维操作转为透明的行政预算流程。

推荐理由管理多卡训练集群的团队可参考:需求是供给 2-3 倍时,优先级调度会失效,改用时间预算制