今天，我们开源了Edge0-145B 和 Edge0-120B，以及我们统一的推理框架和部署工具。Edge0-145B 是全球首个拥有 1450 亿参数的开源端侧 AI 模型。它将媲美前沿云端模型的编程、推理和智能体能力带到你自己的电脑上。
端侧 AI 长期以来一直被迫在模型能力与硬件可运行范围之间做权衡。更大的模型需要更多内存、带宽和功耗；更小的模型则难以应对复杂工作。将这类工作迁移到云端又会增加模型提供商的费用、数据处理限制以及对网络连接的依赖。
本次发布从四个方面解决了这些限制：
| 限制 | Edge0-145B 带来的可能 |
|---|---|
| 大模型难以在个人硬件上运行。 | 一个 145B 模型可在兼容的笔记本电脑上本地运行，报告峰值内存为 29GB，解码速度超过 80 tokens/s。 |
| 小型端侧模型在高要求任务上可能表现不足。 | 编程、推理和指令遵循的结果可与特定的前沿云端模型相竞争，如下方对比所示。 |
| 一个有用的助手需要完成工作，而不仅仅是回答问题。 | 该模型会规划、编写并运行代码、调试错误，并对 3D 场景、游戏、硬件程序和 PCB 设计等项目进行可视化结果检查。 |
| 云端工作流带来经常性费用、敏感数据限制和网络依赖。 | 本地推理不会产生相应的云端模型 token 或 API 费用；数据可以留在电脑上，核心能力在离线状态下仍可工作。硬件和电力仍然需要花钱。 |
我们发布完整技术栈，以便开发者复现结果、评估或微调模型，并将其集成到自己的产品中。
我们如何让 100B+ 参数 AI 在个人电脑上运行
Edge0-145B 笔记本电脑性能：内存、速度和功耗
Edge0-145B 让一个 1450 亿参数的模型可在个人笔记本电脑上使用。一个有用的本地模型必须能装入内存、及时处理提示、生成速度足够快以供使用，并将功耗控制在合理范围内。它还需要能支撑更长的任务。
| 需求 | 报告的 Edge0-145B 结果 | 它带来了什么 |
|---|---|---|
| 内存 | 29 GB 峰值内存 | 可在兼容的个人笔记本电脑上运行，例如 MacBook Pro，无需服务器。 |
| 提示处理 | 1,100+ tokens/s 预填充 | 在开始生成之前处理长提示，包括数十页代码。 |
| 生成 | 80+ tokens/s 解码 | 生成速度快于人阅读速度。 |
| 功耗 | 典型功耗约 120 W | 在报告的设置中持续运行而不降频。 |
| 长任务 | 128K–256K 上下文 | 在长输入上基本保持相同速度，支持延长工作。 |
我们早先发布的 Edge0-35B 手机版报告峰值内存低于 2.5 GB。在 iPhone 18 Pro Max 上，Edge0-35B 使用约 2.5 GB 内存实现 37+ tokens/s。Edge0-145B 的参数量约为其四倍；其笔记本电脑对比报告 80+ tokens/s 和 28 GB 峰值内存。这些测量适用于不同的模型和硬件。
端侧模型规模随时间的变化。该图表涵盖来自 14 个实验室的 67 个至少 1B 参数的开源模型，面向手机、笔记本电脑和 AI PC。同尺寸的 base、instruct 和 reasoning 变体只计一次；每条线追踪一个实验室最大的模型，包括 2025 年 7 月之前的发布。实心点标记新高，空心点标记其他发布。40B 以下为对数刻度，以上为线性刻度。Apple 因未发布权重而被排除。来源：厂商公告和模型卡。
为什么端侧模型一直很小
在 2026 年 9 月之前，内存限制使大多数端侧模型保持在 10B 参数以下。Apple Intelligence 的端侧基础模型约有 3B 参数，而 Google 的 Gemini Nano 有 1.8B 和 3.25B 版本。即使是 7B 模型也可能消耗约 4 GB 内存。
更大的模型面临内存墙。模型权重占用存储，并且必须在生成期间读取，与操作系统和其他应用争夺有限的内存和带宽。即使是一个激进压缩的 35B 模型也可能需要约 20 GB 内存，远超手机所能提供的量。
计算、带宽和功耗形成了相互竞争的约束。更大的模型提供了更强的能力，但给内存容量、生成速度和电池续航带来了压力。把模型做小有助于它们装得下，但往往以能力为代价。
仅靠隐私无法弥合这一差距。Apple Intelligence 保护了用户数据，但 Apple 承认其端侧模型并非为需要通用世界知识的智能体应用而设计。当时的普遍假设是，端侧智能无法与云端匹敌。
Edge0 内部揭秘：模型与推理设计的四个层面
我们同时设计了 Edge0-145B 及其推理引擎，以减少使大模型难以在本地运行的内存占用和数据搬运。该设计涵盖架构、训练、加载和调度。
架构：在稀疏专家之间共享大矩阵。共享矩阵大幅减少了必须存储和搬运的权重，同时保持专家数量不变。每组 64 个专家共享两个大矩阵，而每个专家保留一小组参数以体现其差异。此前，每个专家都存储一整套矩阵。在该模型 145B 的总参数中，每次推理步骤只有约 10B 参与计算。
训练：从第一天起就为本地执行而构建。我们从一开始就在其端侧架构中训练该模型，将部署约束内建于设计之中。这避免了把本地部署当作训练云端模型之后的压缩或剪枝步骤。
加载：让 GPU 内存、系统内存和 SSD 访问形成流水线。读取与计算在三个存储层级之间重叠进行，避免串行等待。常用的“热专家”保留在 GPU 内存中。约 40GB 的专家库驻留在系统内存中，专家按需调入 GPU 内存。约 48GB 的词表数据存放在 SSD 上，按需读取。
调度：让 CPU 和 GPU 协同工作。GPU 计算缓存专家，而 CPU 并行处理剩余工作。投机解码一次性验证多个候选 token，将读取权重的成本分摊到更多输出 token 上。这些选择支撑了所报告的 80+ tokens/s 解码速率。
模型与推理引擎的设计协同作用，使 100B+ 参数推理在个人电脑上变得可行。来源：内部测试。
这些改动共同作用，使参数量从数百亿增长到超过一千亿，而内存占用、功耗和延迟并未成比例增加。
Edge0 能做什么：从聊天到你电脑上的复杂工作，无所不能
Edge0-145B 能将复杂任务推进到可用的结果。其编码和推理能力支持本地工作流，将规划、工具使用、执行、调试和视觉检查结合起来。基准测试确立了它的能力；演示展示了它如何运用这些能力。
媲美前沿云端模型的编码与推理能力
Edge0-145B 在编码、推理、知识和指令遵循方面与特定的前沿云端模型具有竞争力：
- 编码：它在 DeepSWE 1.1 上得分64.6，领先于 Qwen3.8-Flash-Next 的 58.7 和 DeepSeek-V4-Flash-0731 的 54.4。
- 推理与知识：它在 GPQA-Diamond 上得分90.4，接近 DeepSeek-V4-Flash-0731 的 90.8 和 Claude-Opus-4.6 \(Max\) 的 91.3。
- 指令遵循：它在 IFBench 上得分80.6，领先于 DeepSeek-V4-Flash-0731 的 79.2 和 Claude-Opus-4.6 \(Max\) 的 62.5。
它在Terminal-Bench 2.1 上的 86.52也超过了 Qwen3.8-Flash-Next 的 83.3、DeepSeek-V4-Flash-0731 的 82.7 和 Claude 的 78.2。在 AA-LCR 上，Edge0-145B 得分为 79.3，而 Claude 为 78.0。这些比较仅适用于所提及的模型和评估。
| 模型 | DeepSWE 1.1 | Terminal-Bench 2.1 | HLE | GPQA-Diamond | IFBench | AA-LCR |
|---|---|---|---|---|---|---|
| Edge0-145B | 64.6 | 86.52 | 35.4 | 90.4 | 80.6 | 79.3 |
| Edge0-120B | 53.6 | 81.3 | 31.0 | 87.4 | 79.3 | 81.0 |
| Qwen3.8-Flash-Next | 58.7 | 83.3 | 35.9 | 91.7 | 81.3 | 79.1 |
| Qwen3.8-27B | 42.2 | 73.0 | 30.8 | 89.2 | 79.5 | 82.0 |
| DeepSeek-V4-Flash-0731 | 54.4 | 82.7 | 33.8 | 90.8 | 79.2 | 79.7 |
| Flint 40B | — | 54.9 | — | — | 89.2 | — |
| Muse Glimmer | — | 51.7 | 22.0 | 83.5 | 77.0 | 83.3 |
| Gemma 4 | — | 43.4 | 22.7 | 85.7 | 76.0 | 62.0 |
| Claude-Opus-4.6 \(Max\) | — | 78.2 | 40.0 | 91.3 | 62.5 | 78.0 |
分数为百分比；越高越好。破折号表示没有公开分数，而不是分数为零。
Edge0、Qwen、DeepSeek 和 Claude 的结果来自 Edge0 的内部评估。Claude-Opus-4.6 没有公开的 DeepSWE 1.1 分数。对于 Flint、Muse Glimmer 和 Gemma 4，Terminal-Bench 2.1 和 IFBench 的结果来自 Recursive Flint 评估；HLE、GPQA 和 AA-LCR 的结果来自 Artificial Analysis。
相比 Qwen3.8-27B 这一主流端侧模型基线，提升最大的领域是智能体和编程工作：Terminal-Bench 上提升 18.5%，DeepSWE 上提升 53.1%。在 HLE、GPQA 和 IFBench 上的相对提升分别为 14.9%、1.3% 和 1.4%。
DeepSWE 1.1 和 Terminal-Bench 2.1 评估智能体和编程工作。HLE、GPQA-Diamond 和 IFBench 覆盖推理、知识和指令遵循。完整的评估设置、硬件环境和复现说明将随我们的技术报告一同发布。
以更小的内存占用实现有竞争力的能力
Edge0-145B 结合了六项基准测试 72.8 的平均分与 29GB 的实测峰值内存。Qwen3.8-Flash-Next 平均为 71.7，标准 4-bit 部署的估计占用约为 70GB。这使得 Edge0-145B 的内存约为估计基线的 40%，同时提供相当或更高的能力，从而可在 48GB 笔记本电脑上本地使用。
| 模型 | 六项基准测试的平均分 | 内存占用 \(实测或估计\) |
|---|---|---|
| Edge0-145B | 72.8 | 29GB |
| Edge0-120B | 68.9 | 29GB |
| Qwen3.8-27B | 66.1 | 约 18GB* |
| Qwen3.8-Flash-Next | 71.7 | 约 70GB* |
| DeepSeek-V4-Flash-0731 | 70.1 | 约 87GB* |
平均值覆盖 DeepSWE 1.1、Terminal-Bench 2.1、HLE、GPQA-Diamond、IFBench 和 AA-LCR。Edge0 的内存数据为实测内部峰值。带星号的基线数据是标准 4-bit 部署的估计值，尚待实测。Claude 被排除在外，因为它仅提供云端服务且没有 DeepSWE 分数。
[图：质量与峰值内存的关系，标注了 48GB 笔记本电脑和 64GB 工作站的容量。内存越低、分数越高越好；图表的纵轴并非从零开始。]
能够规划、编写代码、运行并检查自身工作的本地智能体
一条自然语言请求就能启动整个本地工作流。Edge0-145B 会拆解需求、规划步骤、编写代码，并调用工具来运行。当某一步失败时，它会调试并修复代码。随后它截图检查结果，并持续迭代，直到工作完成。
这类项目往往需要数十轮规划、执行和审查。本地推理意味着这些额外的对话、代码修改和视觉分析不会产生相应的云端模型 token 或 API 费用。代码和数据可以留在本机，核心模型能力可离线运行。
视频制作：在一小时内生成 Tesla Roadster 的讲解视频
Edge0-145B 制作了一支关于 Roadster 如何飞行的讲解视频，涵盖了技术调研、脚本撰写、素材生成和剪辑。我们要求它让普通观众也能理解其中的原理。该模型在本地运行，没有调用云端模型，也没有消耗云端 token，避免了推理的网络往返。
视频在一小时内生成完成。若由人工完成同等质量的工作，需要一位导演兼编剧、一位 3D 建模师、一位剪辑师和一位物理学专家花费一个月。此前，一套 AI 视频工作流的花费可能超过数百美元；本地推理省去了相应的云端模型 token 和 API 费用。
3D 建模：在 Blender 中搭建曼哈顿城市场景
Edge0-145B 在一小时内搭建了一个曼哈顿的 3D 场景。它在 Blender 中依据文本和参考图像工作，构建场景、调整材质和光照，并对渲染输出反复迭代。
该工作流将视觉检查、代码生成和修改整合在 Blender 内部。模型会结合物体、空间关系和创作目标来工作，而不只是参考图像中的像素。它检查结果、编写代码并做出修改，无需把这些步骤交回给人。整个过程都在本地完成。
人工创建曼哈顿规模的城市场景通常大约需要花费12,000-18,000 美元并且至少需要一个月。领先的云端模型仍会产生超过 150 美元的云端 token 费用。Edge0-145B 在本地完成推理，无需支付这些云端模型的 token 费用。
游戏开发：可玩的游戏与一座中世纪城市
Edge0-145B 可以在本地创建可玩的游戏。我们还利用其 3D 建模能力，为一款奇幻 RPG 构建了一座原创的中世纪都城，并渲染了一段20 秒的飞越动画达到游戏预告片画质。
该模型独立规划了这座城市，并在 Blender 中从零开始搭建：城墙、一千多栋老城住宅、广场喷泉、哥特式双塔立面、肋拱中殿以及彩色玻璃窗。
固定的相机路径让错误无处遁形。几何穿插、遮挡或比例错误都会在路线上显现出来，因此模型在搭建过程中检查渲染结果并修正自己的工作。整个工作流完全在本地运行。
在相同的提示词、参考图像和相机路线下，一个领先的云端模型单次完成就需要数百次工具调用和数亿个 token。Edge0-145B 在一台笔记本电脑上完成了这一任务，本地推理无需支付云端模型的 token 或 API 费用。而一个美术团队通常要花费数周时间和数千美元，才能制作出达到这一标准的城市场景。
硬件控制：让真实无人机飞行的代码
Edge0-145B 仅凭一条指令就为真实无人机编写了程序：“编写一个无人机程序，穿越障碍物并找到红色背包。”
它在本地生成了飞行控制和视觉识别程序。随后无人机在室内起飞，穿越一排密集的障碍杆，自主搜索，并在墙边找到了红色背包。该任务无需人工编写代码，也无需调用云端。
硬件开发者可以描述他们想要的行为，让模型将其转化为真实设备的程序，而无需在编辑器、文档和调试工具之间反复切换。
PCB 设计：从 KiCad 布局到装配动画
Edge0-145B 完成了一次 PCB 设计，从元件布局一直到装配可视化。我们让它为自己设计一块电路板。它从零开始在 KiCad 中起步，放置元件、完成双层板布线，并将设计导入 Unreal Engine 5。随后它设置相机和灯光，渲染出一段 PCB 制造与装配的动画。
一台计算机交付了此前需要硬件工程师和 3D 设计师来回交接数天才能完成的工作。原理图和电路板布局可以留在团队自己的硬件上，从而支持商业秘密保护和数据处理要求，无需将设计上传到云端模型。
为什么选择 Edge0：端侧 AI 的全栈方案
有用的端侧 AI 需要模型开发、推理工程和硬件适配协同工作。我们的进展建立在三项能力之上：快速开发互补模型、优化全栈，以及将每次部署的经验带入下一次。
我们 9 月发布的 Edge0-35B 展示了这种方法在手机上能带来什么。其发布帖在海外社区未经付费推广的情况下，首日浏览量突破 120 万。OpenAI、NVIDIA、Qualcomm 等公司的研究人员和技术专家分享了它，该模型登上 Hugging Face 总 Trending 榜第一。
我们同时发布了模型权重和统一推理框架，为企业与研究人员提供了一套可复现的标准方法。这次发布推动端侧 AI 的讨论从几十亿参数级别迈向 35B 级别。
面向端侧 AI 的四大模型家族
过去一年，我们发布了四大模型家族共 200 个模型。每个家族负责工作中不同的部分，从听和说，到快速决策、记忆和复杂智能体任务。
| 模型家族 | 角色 | 模型与能力 |
|---|---|---|
| Edge0 | 复杂智能体任务与 vibe coding | 面向笔记本电脑的 145B 和 120B 模型；面向手机的 35B 和 8B 模型。笔记本模型支持 vibe coding，手机模型支持智能体任务。 |
| Audio8 | 听与说 | ASR-Infinite 以及 3B、0.6B 和 0.1B 的 ASR 模型用于语音识别；0.6B 和 0.1B 的 TTS 模型用于语音合成；以及一个 0.1B 的 Chat 模型用于端到端语音交互。 |
| Decision0 | 快速决策 | 0.6B 和 3B 模型覆盖文本、语音和视觉，多模态决策耗时约 40 毫秒。 |
| Embedding0 | 记忆 | 一个 0.6B 多模态嵌入模型，支持文本、语音、图像、视频和文件，支持本地长期记忆和检索增强生成（RAG）。 |
产品组合覆盖从数千万到超过一千亿参数。Edge0 和 Audio8 均已登上 Hugging Face 的 Trending 榜单第一名。
模型与推理系统协同设计
我们同时开发模型和推理框架，将硬件约束纳入训练，并针对不同芯片优化引擎。这将模型能力与本地使用所需的软件和硬件连接起来。
这项工作需要模型开发、推理框架和底层硬件适配方面的专业知识。这种组合对于只专注于模型开发的公司来说难以复制。
硬件优化延续到每一次部署
每一次部署都为我们针对下一个芯片、模型或产品带来可复用的优化。这很重要，因为端侧硬件是碎片化的：NPU 架构各不相同，对 INT4、INT8 和 FP4 等数值格式的支持也不同。通用模型无法自动充分利用每一款芯片。
我们针对各个平台进行适配。我们的产品组合现已覆盖 95% 的主流芯片平台，包括 Qualcomm、BES、Rockchip、Allwinner、D-Robotics 和 NVIDIA，涵盖耳机、眼镜、手机、PC 和机器人。这是产品组合层面的覆盖；模型需求各不相同，这并不意味着每台设备都能运行 Edge0-145B。
这项部署工作现已覆盖超过 500 万台量产设备。我们的开源模型在三个月内下载量突破 1500 万次。截至 2026 年 10 月，我们已拥有超过 110,000 家客户组织。
组合数据来自公司文件与内部测试。它们描述的是更广泛的 Edge0 产品组合；本文中的 145B 性能结果专门适用于 Edge0-145B。
对于 Edge0-145B，首日支持覆盖 macOS、Windows 和 Linux，包括 Apple M 系列芯片以及 NVIDIA 平台，如 RTX Spark、RTX 4090 和 RTX 5090。该版本包含一键部署工具和硬件指南。
端侧 AI 与云的未来
随着本地模型接近云端能力，更复杂的工作可以留在设备上完成。隐私、成本控制和离线访问一直有利于本地执行；剩下的问题是端侧模型能否胜任这些工作。Edge0-145B 扩大了它可以承担的任务范围。
为什么更多 AI 工作可以留在本地
本地执行解决了采用纯云端 AI 的四个实际障碍：
- 控制云端模型成本。随着使用量增长，本地推理不会增加相应的云端模型 token 或 API 费用。
- 将敏感数据保留在本地。代码、文档和业务记录可以留在硬件上，让团队掌控数据处理方式。
- 保持流畅的响应体验。模型和推理引擎的设计同时兼顾响应速度、功耗、系统响应性和持续运行。
- 保持核心能力离线可用。连接中断时，本地任务仍可继续；依赖在线信息或服务的功能仍需要连接。
从云端优先到更多复杂工作在端侧完成
我们认为设备与云之间的分工正经历三个阶段的变化。
2026 年 9 月之前：云端优先，辅以端侧支持。Apple Intelligence 体现了这一阶段：它保护隐私，但在本地处理的任务范围有限，更繁重的工作依赖云端能力。
Edge0-35B 于 9 月 10 日发布之后：日常任务在本地，复杂任务在云端。本地模型可以承接需要即时响应的频繁请求。对于一家领先的耳机制造商，我们的混合方案目前将 92% 的 AI 使用量放在端侧处理，8% 在云端。日常对话占消费级可穿戴设备用例的大多数。
借助 Edge0-145B：迈向设备优先，云端支持。Vibe coding 和其他复杂任务现在可以在个人电脑上运行，让团队有更多空间选择本地执行。这扩展了可以留在设备上的工作范围，同时为需要它的任务和硬件保留云端。
该图展示了从云端优先的 AI 到日常本地任务、再到更复杂的本地工作的转变。其彩色区域是示意性的，并非实测的使用份额。
云端 AI 仍然适用的场景
硬件限制仍然决定哪个模型适合。算力、发热和电池续航都很重要：Edge0-35B 可在手机上运行，而 Edge0-145B 可在配置合适的笔记本电脑上运行。算力极低的设备目前无法在本地运行 145B 模型。它需要适合其硬件的更小模型，或通过云端访问该规模的模型。
跨设备的长期记忆以及需要高度时效性信息的搜索仍然需要云服务。本地和云端模型可以协同工作；合适的分工取决于任务、硬件以及所需的信息。
目标是让本地执行成为高要求工作的实用选择，用一个能力足够的模型在用户身边持续工作。这是我们朝着让智能零距离惠及每个人这一目标迈出的下一步。
开始使用 Edge0
下载模型以在本地运行、评估或微调它们，并将它们构建到你自己的产品中：
- 模型权重： Edge0-145B和Edge0-120B在 Hugging Face 上。
- 推理框架和部署指南： GitHub 上的 Edge0。
- 无需配置环境即可试用： 下载 Edge0 App。其核心模型能力可离线使用，无需账号或使用配额。
- 社区： 在 Discord 上加入我们。
如需硬件或产品集成，请通过 GitHub 或以下邮箱联系 Edge0 团队：contact@autoark.ai。