Edge0 开源 145B 端侧模型,笔记本可跑
Edge0 开源 Edge0-145B 与 Edge0-120B 两个模型,以及配套的统一推理框架和部署工具。145B 版本号称是首个开源的 1450 亿参数端侧模型,官方称在兼容笔记本上峰值内存 29GB、解码速度 80+ tokens/s、prefill 1100+ tokens/s、典型功耗约 120W,支持 128K–256K 上下文,编码、推理和 Agent 能力对标部分前沿云端模型,可本地完成写代码、调试和结果检查。本地推理不产生云端 token 或 API 费用,数据留在本机,离线可用。
推荐理由29GB 内存、80 tokens/s 就能在笔记本上跑 145B 模型