AI模型发布/更新11/08 11:4860
Maple:将 Gemma 4 26B 剪枝到 2 BPW 以下,6GB 显卡跑 45 TPS
原题:Show HN: Maple – Sub-2-BPW Moe Pruning to Run Gemma 4 26B at 45 TPS on a 6GB GPU
原文信息有限,仅有标题。作者在 Hacker News 的 Show 板块发布开源项目 Maple,称通过 MoE 剪枝把 Gemma 4 26B 压缩到 2 BPW 以下,在 6GB 显存的 GPU 上达到 45 TPS 的生成速度。具体剪枝方法、精度损失和测试环境原文均未说明。
推荐理由6GB 显存跑 26B 模型、45 TPS,想本地部署大模型的人可以直接去 GitHub 看实现
本文内容转载自 Hacker News Show,版权归原作者所有。
阅读原文 ↗ https://github.com/AmSach/maple1 个独立信源
- Show HN: Maple – Sub-2-BPW Moe Pruning to Run Gemma 4 26B at 45 TPS on a 6GB GPU
Hacker News Show · 11/08 11:48 · 热度 20 · 仅标题
标题与摘要由 AI(deepseek-chat)改写,可能有误,以原文为准。
相关条目
- Flide:Jev 类决策模型推理引擎,比 vLLM 快 9.5 倍11/09 12:43
- Asahi Linux 弃用 MIT 改用 GPL,因 AI 洗代码窃取未发布代码11/09 11:06
- Agent 记忆格式碎片化,有人提议学 OpenTelemetry 做统一标准11/08 16:40
- Coldframe:伪装成超市冷柜控制器的蜜罐开源11/08 01:27
- Video Rebirth 将 31B 视频音频模型压缩至 14B,6 步出片11/07 23:16
- 开源项目:AI Agent 从 LDraw 源码推断乐高机械结构并生成 Blender 动画11/07 03:41