Janas 让 48 GB 模型在 32 GB 笔记本上跑，速度超 llama.cpp 8 倍
开源项目 Janas 通过从 SSD 流式加载专家权重，让超出内存的 MoE 模型在普通笔记本上运行。在 32 GB 内存、Intel Core Ultra 9 185H 的笔记本上，48.4 GB 的 Qwen3-Next-80B-A3B 生成速度 24 tok/s，llama.cpp 仅 2.8 tok/s；读取 1024 token 提示词为 62 tok/s，llama.cpp 为 16 tok/s。对比的全部 13 个模型 Janas 均更快，仅 3-bit 量化的 Qwen3-30B 读提示词一项略慢。…
推荐理由32 GB 笔记本就能跑 48 GB 的 Qwen3-Next-80B，生成速度是 llama.cpp 的 8 倍