Fireworks 发布 Kimi K3 强化学习训练系统细节
Fireworks 发布技术报告，介绍支撑 Kimi K3 强化学习训练的基础设施，涵盖全参数训练与 rollout 生成、训练与推理一致性、无服务器 LoRA 训练。Kimi K3 为 2.8 万亿参数、100 万 token 上下文的模型，其 LatentMoE 将 FP4 专家分布到多 GPU，需 all-to-all 通信。Fireworks 用自研 MoE Mega Kernel 做通信与计算重叠，包括环形缓冲、微批流水线、量化融合进暂存。同一套设施支撑 Harvey 基于 K3 的法律模型 Tenet，…
推荐理由做大规模 RL 训练的人可看 MoE 通信重叠和 FP4 专家分布的具体做法