Allen AI 发布 Olmo-core 3，MoE 训练吞吐提升 2.7 倍
Allen AI 发布 Olmo-core 3，重写 MoE 训练系统，目标支持万亿参数规模。新框架从 FSDP 换成基于 DDP 的方案，把专家常驻 GPU、只路由数据，省去反复聚合权重。在 8 张 NVIDIA B300 上的初步测试中，470 亿参数 MoE 每 GPU 每秒处理 52000 token，旧实现为 19400，吞吐约 2.7 倍。另一项基准把专家池从 8 扩到 128、每 token 仍只选 4 个专家，激活参数约 3.2B 不变，总参数从 4.6B 增至 47B，吞吐下降不到 5%。同一套设…
推荐理由想自己训 MoE 的团队可以直接参考：专家池扩 16 倍吞吐只掉 5%，代码和报告都开源