AI模型发布/更新11/08 11:4860

Maple:将 Gemma 4 26B 剪枝到 2 BPW 以下,6GB 显卡跑 45 TPS

原题:Show HN: Maple – Sub-2-BPW Moe Pruning to Run Gemma 4 26B at 45 TPS on a 6GB GPU

原文信息有限,仅有标题。作者在 Hacker News 的 Show 板块发布开源项目 Maple,称通过 MoE 剪枝把 Gemma 4 26B 压缩到 2 BPW 以下,在 6GB 显存的 GPU 上达到 45 TPS 的生成速度。具体剪枝方法、精度损失和测试环境原文均未说明。

推荐理由6GB 显存跑 26B 模型、45 TPS,想本地部署大模型的人可以直接去 GitHub 看实现

本文内容转载自 Hacker News Show,版权归原作者所有。

阅读原文 ↗ https://github.com/AmSach/maple

1 个独立信源

标题与摘要由 AI(deepseek-chat)改写,可能有误,以原文为准。

相关条目