Sakana AI 与 Modal 合作部署约 1 万亿参数 MoE 模型
Sakana AI 在 Modal 上部署约 1 万亿参数的 MoE 模型 Sakana Namazu，面向日本商业场景、实时网页搜索和代码执行。Modal 团队针对日语保留调优 NVFP4 量化：只量化路由专家，注意力、路由器和共享专家保持 BF16；校准数据以日语对话为主，覆盖全部 23,040 个专家。量化后日语指令跟随能力与生产检查点持平。另训练定制 DFlash 草稿模型用于投机解码，通用草稿模型接受率不足 40%。服务运行在 Modal 全球 GPU 池上，无需预留容量。
推荐理由万亿参数 MoE 的量化与投机解码实操细节，做大规模推理部署的团队可直接参考