清除条件
共 1 条
MarkTechPost3 小时前模型新模型发布海外

Prime Intellect 发布 Prime Mega MoE:前向快 3.11 倍

Prime Intellect 在 DeepSeek 开源 DeepGEMM 库的 Mega MoE 内核基础上补上了反向传播实现,使其可用于训练而非仅推理。在 Qwen3-30B-A3B 和 Qwen3-235B-A22B 上测试,完整训练步比 prime-rl 基线快 32% 到 34%,比 TorchTitan 快 48% 到 55%;单层前向最快提升 3.11 倍(12.0 ms 降至 3.9 ms),反向最差也有 1.24 倍。支持 Hopper 的 blockwise FP8 与 Blackwell 的…

推荐理由训练 MoE 可直接省 30% 以上 GPU 小时,代码在 prime-rl 里能换