清除条件
共 1 条
Hugging Face 博客10/20资讯产品发布/更新海外

PyTorch 2.15 为 MPS 带来 FP8,MoE 模型解码提速 5-6.5 倍

PyTorch 2.15 在 MPS 后端加入 FP8 支持,可在 Mac 上以 BF16 一半的空间存储 float8_e4m3fn 数值。MoE 模型解码速度比 2.14 快 5-6.5 倍:在 M3 Ultra 上,Qwen3.6-35B-A3B 从 9.4 tokens/s 提升到 61.3 tokens/s,LFM2.5-8B-A1B 从 23.6 提升到 123.6。词表 softmax 约快 8 倍。Wan2.2 视频 VAE 解码峰值内存从 270 GiB 降到约 8 GiB。此外还修复了 Qwen…

推荐理由在 Mac 上运行本地大模型的用户升级后,MoE 解码速度可提升 5 倍以上