DS4· 本地前沿推理

用 ds4 在本地运行前沿开源权重。

DwarfStar 4 是一个面向高内存 Mac、CUDA 和 ROCm 机器的精简 C 推理引擎。它支持 DeepSeek V4 和 V4.1 Flash、GLM 5.x 和 Qwen3.8 Flash Next，将文本和视觉模型、本地 API、CLI 以及原生智能体整合在一个技术栈中。

支持：DEEPSEEK V4 / V4.1 + GLM 5.x + QWEN3.8·MIT 许可证·C / METAL / CUDA / ROCM· 64GB 上的 QWEN

ds4 · 本地会话

原理· 本地模型栈

阶段 1· 巨人

一颗 2840 亿参数的恒星

DeepSeek V4 Flash 是一个大型混合专家模型。通常的路径是远程服务；ds4 从相反的约束出发。

阶段 2· 坍缩

被压缩，而非被切除脑叶

非对称量化针对路由专家，同时保留关键路径。该模型在高内存机器上变得实用。

阶段 3· 矮星

稠密、常驻、属于你

本地引擎暴露 CLI、HTTP API 和原生智能体，它们共享同一份模型状态和缓存。

坍缩是如何发生的 →

滚动 ▾

设计选择

本地前沿推理，刻意保持狭窄

不是通用的 GGUF 运行器。ds4 只跟随一小组机会性的模型家族，并对每个受支持的布局进行端到端验证。

核心 01

非对称 2-bit 量化

压缩路由专家，保持关键共享路径精确。这就是受支持的路由 MoE 构建适配其目标机器的方式。

核心 02

KV 缓存作为磁盘公民

将长前缀保存到 SSD，并通过提示哈希恢复。重启不必意味着完整的重新预填充。

核心 03

一个引擎，三种接口

使用./ds4进行聊天，./ds4-server用于本地./ds4-agentAPI，以及

  • 用于持久编码会话。
  • SSD 流式加载
  • 张量并行
  • 会话批处理
  • DSPARK + MTP

视觉输入

架构

ds4 技术栈如何组合在一起

项目 GGUF、一个自包含引擎以及面向智能体的接口，均对照官方模型输出进行校验。运行时地图· 简化版。参见架构说明

查看完整图示。

运行它

三步运行 ds4

下载项目 GGUF，为你的后端构建，然后启动 CLI 或服务器。通用 GGUF 文件不是目标。步骤 1

· 获取权重

ds4 · zsh$
git clone https://github.com/antirez/ds4cd ds4 && ./download_model.sh ds4f-q2

STEP 2· 为你的后端构建

ds4 · zsh

$make
$make cuda-spark

STEP 3· 与它对话

ds4 · zsh

$./ds4
$./ds4-server --ctx 100000

适配检查

ds4 硬件适配：本地、流式与分布式

选择你的平台和内存：获得一条保守的起步路径，并了解哪些执行模式适用。

平台 内存

✓ 运行良好

V4 Flash Q2 是基线。在 128 GB 下，GLM 5.3 Q2 和 Qwen Q4 也能装下；V4.1 Q2 从 SSD 流式加载。

./download_model.sh ds4f-q2 && make

参考· M5 MAX 128GB · 32K CTX：34.4 T/S 生成 · 557 T/S 预填充

估算来自ds4 基准测试表。 完整指南见硬件和安装。

基准测试

ds4 基准测试：预填充与生成

来自上游的参考行。请分别阅读预填充和生成，尤其是针对长上下文智能体工作负载。

机器 上下文 预填充 t/s 生成 t/s
M5 Max, 128 GB q2 · 2,048 tok 790.2 39.4
M5 Max, 128 GB q2 · 65,536 tok 398.5 27.6
DGX Spark, 128 GB q2 · 2,048 tok 825.8 18.1
DGX Spark, 128 GB q2 · 65,536 tok 823.0 13.8

所有基准测试→

API 与智能体

在 Codex、Claude Code 和 OpenCode 中使用 ds4

ds4-server 支持 OpenAI 和 Anthropic 风格的 API，因此本地编码智能体可以通过 base URL 连接到你的机器。

拥有你自己的本地 AI 推理。

从快速开始入手，查看硬件矩阵，然后将你的编辑器、智能体或 API 客户端连接到本地服务器。