Aikido Security 发布了 Altar-1,这是其首个开源权重安全模型。它是 Z.AI 的 GLM-5.3 的压缩版本,专为在客户自控的基础设施内运行而构建。Altar-1 为 Aikido Machine 提供支持,这是该公司面向本地和空气隔离网络的自主渗透测试设备。

它可以部署吗?可以,权重已在 Hugging Face 上公开,并可在单节点 4x NVIDIA H200 GPU 上通过 vLLM 运行。

问题:安全上下文无法离开网络

闭源前沿模型运行在他人的基础设施上。使用它们会将源代码、架构文档和未修复的发现发送到网络之外。Aikido 指出,受数据驻留要求约束的银行以及没有互联网路由的 OT 运营商面临这一问题。

开源权重模型解决了驻留问题,但带来了部署缺口。混合专家(MoE)模型必须存储每一个专家,即使某个工作负载只使用其中少数几个。安全智能体还会构建长时间运行的上下文。该 KV 缓存会与模型权重争夺同一块 GPU 内存。

Altar-1 是如何构建的

GLM-5.3 是一个 753B 参数的 MoE 模型。每个 token 在每一层路由到 256 个专家中的 8 个,即约 40B 活跃参数。Aikido 应用了 2 个压缩步骤:

步骤 1——量化:Altar-1 从 cyankiwi GLM-5.3-AWQ-INT4 检查点开始。AWQ 将路由专家权重存储为 4 位,激活为 16 位(W4A16)。注意力、共享专家、稠密层和头部保持 BF16。

步骤 2——专家剪枝:Aikido 使用了 Cerebras REAP(Router-weighted Expert Activation Pruning,路由加权专家激活剪枝)。REAP 根据路由权重和输出幅度为每个专家评分,而不仅仅是根据其被选中的频率。Altar-1 在每一层保留 256 个路由专家中的 168 个,移除 88 个(34.4%)。不涉及重新训练。

校准使用了来自 Aikido 渗透测试工具链的轨迹,以及编码、工具调用、推理和多语言 Wikipedia 文本。Aikido 声明未使用任何客户数据。每个专家按其任一单一领域路由工作中所占的最大份额进行评分。这保护了面向代码、稀有语言和结构化输出的专家。

路由保持不变。路由器仍然为每个 token 选择 8 个专家,现在是从 168 个中选择,活跃参数约为 40B。

CheckpointStored weightsGLM-5.3, BF161,506.7 GBGLM-5.3, AWQ INT4488.2 GBAltar-1, pruned W4A16328.0 GB

Altar-1 比 BF16 小 78.2%,比 AWQ 父模型小 32.8%。在保真度方面,Altar-1 在一个封存的 25 条提示面板上与完整 BF16 的 KL 散度为 0.506 nats。同一裁剪版本的 EXL3 构建得分为 0.511。详细信息见公开的保真度研究。

基准测试结果

Aikido 团队在其内部 CVE 基准测试上测试了 Altar-1。该基准测试覆盖 30 个代码仓库中的 32 个已知漏洞,每个用例运行 3 次。

ModelAvg recall per runFound at least onceGLM-5.3, BF1665.6%25 of 32GLM-5.3, AWQ INT461.5%23 of 32Altar-160.4%23 of 32

与 AWQ checkpoint 相比,剪枝损失了约 1 个百分点的召回率,覆盖率没有变化。与父模型相比,Altar-1 在召回率低 5.2 个百分点的情况下,保留了 25 个已覆盖漏洞中的 23 个(92%)。

该基准测试的范围较窄。它衡量的是在使用其他模型处理周边阶段的流水线中,对特定 CVE 的重新发现能力。它不衡量盲发现、漏洞利用验证或修复建议。Aikido 还报告称,Altar-1 在一次客户生产环境渗透测试中发现了一个有效的严重级别漏洞。这是供应商报告的单一结果。

部署与许可证

模型卡要求使用 Hopper GPU(H100 或 H200)。Aikido 表示,4x H200 上的 328 GB 为生产批次大小下的 128k 上下文 KV 缓存留出了空间。

Copy CodeCopiedUse a different Browser

vllm serve AikidoSec/altar-1 --tensor-parallel-size 4 --trust-remote-code --max-model-len 131072

vLLM 会自动选择 Marlin MoE 内核。一个 4x H100 80 GB 节点只有 320 GB 内存,少于 328 GB 的权重。

Altar-1 继承 GLM-5.3 License。该许可证允许商业使用、修改和再分发。过去 12 个月收入超过 $10B 的 Model-as-a-Service 运营商必须首先通过 Z.AI 安全审查。Altar-1 是开源权重,而非 OSI 认可的开源。

Altar-1 还为 Aikido Attack、AI Code Analysis 和 Deep Review 提供支持。接下来,Aikido 计划尝试 EXL3 等更低比特格式,以便保留更多专家。它还计划为安全工作流微调模型。

关键要点

Altar-1 将 GLM-5.3 从 1,506.7 GB 压缩到 328 GB,减少了 78.2%。

REAP 剪枝在每层保留 256 个专家中的 168 个,每个 token 激活 8 个。

召回率从 65.6% 降至 60.4%,保留了父模型的 92% CVE 覆盖率。

它可在 1 个节点、4x H200 上使用 vLLM 运行,包括气隙隔离环境。

GLM-5.3 License 允许商业使用,并设有收入超过 100 亿美元时的审查条款。

查看 Model Weights 和 Technical Details。所有功劳归于该项目的研究者。也欢迎在 Twitter 上关注我们,别忘了加入我们 150k+ 的 ML SubReddit 并订阅我们的 Newsletter。等等!你在 telegram 上吗?现在你也可以在 telegram 上加入我们了。

需要与我们合作推广你的 GitHub Repo 或 Hugging Face Page 或产品发布或网络研讨会等?联系我们

文章 Aikido Security Releases Altar-1: An Open-Weight Security Model Pruned From GLM-5.3 to 328 GB 首次出现在 MarkTechPost 上。