Nace AI 以开源权重形式发布了 Drex Max v1。Drex Max 是其能力最强的决策模型,现在可以在你自己的硬件上运行。此次发布包含 bf16 权重、一个 Q8_0 GGUF、一个 affine Q4 检查点,以及 llama.cpp 和 Ollama 的分支。对开发者而言,Drex Max 的开源权重意味着路由、分类和策略检查都可以留在本地机器上运行。
TL;DR
规模:稠密 27B 参数,262,144 token 窗口(默认 16,384),每个问题最多 255 个选项。
运行于:配备 Python 的 NVIDIA GPU(H100 bf16,或 8 位下的 L40S 48 GB)。配备 24 GB+ 内存的 Apple Silicon Mac(affine Q4)或 48 GB(Q8_0 GGUF)。通过 llama.cpp 和 Ollama 在 CPU 上运行。
性能:在公开的 Decision Index 0.4 上得分为 67.52,领先 Drex v2.0 6.27 分(自报数据)。
最佳表现:在 InfographicVQA 上技能得分 97.3。Tools 领域达到 81.9。一个你现在就能在 Mac 上离线运行的顶级决策模型。
什么是 Drex Max?
Drex Max 是 Nace.AI 推出的决策模型,用于回答关于给定上下文的带类型问题。你传入一个状态(文本、JSON 或图像)以及具名问题。模型在一次前向传播中为每个选项返回一个概率。不生成任何内容。
问题分为 3 种类型:在具名选项中选择、是/否,以及序数评分。这使它适用于智能体路由、工单分诊和护栏检查。托管版本被定位用于路由、分类和策略检查。
Drex Max 如何工作?
模型卡描述了一个 64 层的稠密 27B 主干。其中 48 层是从左到右运行的 Gated DeltaNet 线性注意力层。另外 16 层是完整注意力层,每隔四层放置一次,且它们是非因果的。每个 token 都可以关注整个序列。
图像经过原生视觉塔处理,并在一次请求中对每个问题都可见。随后一个 255 路读出头将最后的隐藏状态转换为选项概率。配置中列出的模型类型为 qwen3_5,窗口为 262,144 个位置。
Drex Max 在基准测试上表现如何?
以下所有数据均由 Nace AI 自报,
Decision Index 0.4(公开文本):67.52。Drex v2.0 得分为 61.25,Jev 1.13.0 得分为 57.96。
领域技能:Tools 81.9,Language 72.2,Retrieval 68.8,Knowledge and Reasoning 57.1,Arts 53.4。
公开视觉指数:在 11 个基准测试和 12,210 行数据上为 73.92。
Artificial Analysis 决策指数:64,Nace 称其在 18 个模型中排名第 4。
JevBench:92.2%(213/231)。Decision Bench v4:94.30%(1010/1071)。
结果数据集涵盖 140,620 个请求。未回答的请求计为错误。
如何在本地运行 Drex Max?
Nace 记录了 5 种运行时。它们都提供相同的 POST /v1/systemone API。
RuntimeHardwareCheckpointImagesPythonNVIDIA GPUbf16(约 49 GB)或 8-bit(约 26 GB)Yesllama.cpp forkApple Metal、CPUQ8_0 GGUF(27.25 GB)NoOllama forkApple Metal、CPUQ8_0 GGUFNoKapitsa v0.2.25+Apple SiliconQ8_0 GGUF 或 affine Q4NoMLXApple Siliconaffine Q4(14.45 GB)No
affine Q4 检查点面向 24 GB 及以上的 Mac。Q8_0 GGUF 需要 48 GB。在 48 GB 的 Mac 上,Nace 建议 Kapitsa 使用 --context 2048。
Ollama 用户设置 num_gpu 40 可将 40 层卸载到 Metal。设置 num_gpu 0 则在 CPU 上运行。Ollama fork 需要在 Modelfile 中有一行 CAPABILITY decision。
量化在 Nace 的测试中表现稳定。在 48 GB 的 Apple M5 Pro 上,Q8_0 GGUF 与 H100 bf16 的每个概率差异在 0.02 以内。affine Q4 与 Q8_0 的差异保持在 0.0329 以内,且没有选择翻转。
Drex Max 与其他决策模型对比
Drex Max v1Drex v2.0Drex v1.5Jev 1.13.0参数27B dense35B MoE,约 3B 激活9B未公布最大上下文262,144131,072131,072未披露输入文本、JSON、图像文本(视觉塔已移除)文本未披露权重开放,Nace.AI Open RAIL-M开放,Nace.AI Open RAIL-M开放,Nace.AI Open RAIL-M闭源,托管最小本地文件Affine Q4,24 GB+ MacQ8_0,36.9 GBQ8_0,约 9.5 GB不适用公开决策指数67.52(v0.4)61.25(v0.3.1)58.08(v0.3.1)57.96JevBench92.2%85.7%未披露86.6%AA 决策指数6458未列出58托管价格$0.03 / 1K 次决策(发布时)$0.06 / 1K 次决策$0.04 / 1K 次决策$42 / 1M 任务
Nace AI 团队表示,决策指数 0.4 使用与 0.3.1 相同的公开测试套件。
关键要点
Drex Max v1 权重现已在 Nace.AI Open RAIL-M 下公开。
它在决策指数 0.4 上得分为 67.52,高于 Drex v2.0(61.25)。
4-bit 版本可通过 Kapitsa 或 MLX 在 24 GB Apple Silicon Mac 上运行。
M5 Pro 上的 Q8_0 与 H100 bf16 的差异在 0.02 以内。
本地 Mac 和 CPU 路径目前仅支持文本。
查看模型权重、Q8_0 GGUF、代码和文档、推文以及云控制台。
感谢 Nace AI 团队为本文提供的思想领导力/资源。本文由 Nace AI 赞助。
文章《Nace AI 开源 Drex Max v1:一个可在 Apple Silicon 上本地运行的 27B 决策模型》首发于 MarkTechPost。