NVIDIA 发布了 2 个用于在 GPU 基础设施上运行托管 Kubernetes 的开源项目:NVIDIA Kubernetes Engine(NVKE)和 NVIDIA Kubernetes Recipes(NVKR)。两者最近都作为 NVIDIA DSX AI Factory Platform 的组件公布。NVKE 是托管 Kubernetes 服务的控制平面。NVKR 负责构建这些集群所依赖的操作系统镜像、容器镜像和软件包。两者均以 Apache 2.0 许可发布,且都处于公开预览阶段。
TL;DR
规模 / 占用:管理集群需要 3 台 CPU 服务器,每个工作负载控制平面需要 3 台 CPU 服务器,外加一组 GPU 工作节点。本地评估需要 6 个 CPU、12 GiB 内存、100 GiB 磁盘,不需要 GPU。
运行于:你自己的 NVIDIA GPU 裸金属服务器,通过 NVIDIA Infra Controller(NICo)进行配置。节点镜像可为 amd64 和 arm64 构建。
性能:未公布吞吐量或配置耗时基准测试。质量信号来自认证,而非速度。
最佳之处:Certified Kubernetes AI Platform 和 Certified Kubernetes Installer,已在 Kubernetes 1.36 上通过一致性测试。
最差之处:安装完成后,NVKE API 在 30080 端口上以纯 HTTP 提供服务且关闭了身份验证,并且没有管理平面升级或备份流程。
结论:最佳之处:面向 GPU 云的开源、经过认证、上游 Kubernetes。最差之处:预览级的安全和生命周期缺口;尚不适合生产环境。
什么是 NVIDIA Kubernetes Engine(NVKE)?
NVKE 是一款开源软件,AI 工厂安装它即可在自己的 NVIDIA GPU 基础设施上运行托管 Kubernetes 服务。该仓库称其为“Kubernetes 集群的自托管工厂”,而非一个发行版。它在管理集群上暴露 REST API 和控制器。客户获得标准集群并使用 kubectl。运维人员通过 NVKE API 或 nvkectl CLI 管理这些集群。
NVKE 使用上游 Kubernetes、kubeadm 和 Cluster API。它用 Go 编写,运行时并不依赖 NVKR。
NVIDIA Kubernetes Recipes(NVKR)是做什么的?
NVKR 是一个具有声明式定义的构建系统。它生成可执行文件、容器镜像、Helm chart 以及适用于 amd64 和 arm64 的节点镜像。"Recipes" 定义了经过验证的软件版本与 GPU 代际组合。托管工作流将签名、SBOM 和来源信息附加到固定摘要的 OCI 引用上。NVKR 还可以为其他 Kubernetes 管理系统构建产物。
NVKE 架构是如何工作的?
NVIDIA 技术博客的逐步讲解描述了 5 个阶段:
引导:nvkectl bootstrap site 在引导主机上启动一个临时的单节点 kind 集群。
管理集群:NVKE 向 NICo 请求 3 台服务器,NICo 从节点镜像启动它们。随后临时集群被删除。
机器供应:NICo 处理裸金属生命周期。CAPNICo 是一个 Cluster API 提供者,将 NICo 连接到 NVKE。
发布集:运维人员发布机器镜像、集群发布和节点池发布。客户按名称选择发布。
工作负载集群:每个客户集群都有自己的控制平面、etcd 和节点池。NVKE 安装 OVN-Kubernetes 和 NodeLocal DNSCache。
节点在获得加入凭据之前必须出示经过认证的 SPIFFE 身份。README 称 SPIRE 为此使用 TPM。可按集群启用 etcd 加密。一个基于 OpenTelemetry 的 Helm chart 通过 OTLP 导出日志、指标和追踪。
在工作负载集群内部,有 3 个配套项目接入:用于 GPU 运行时的 AI Cluster Runtime(AICR)、用于节点软件包的 NodeWright,以及用于故障修复自动化的 NVSentinel。
NVKE 与 Gardener 和 Kamaji 相比如何?
NVKE + NVKR (NVIDIA)Gardener (SAP)Kamaji (Clastix)它是什么受管的 Kubernetes 管理平面加制品构建器Kubernetes 集群即服务托管控制平面管理器控制平面模型每集群专用:自有控制平面、etcd、节点池以 Pod 形式运行在种子集群中以 Pod 形式运行;可共享 Datastore目标基础设施通过 NICo 的 NVIDIA GPU 裸金属AWS、Azure、GCP、OpenStack、Alicloud(一致性表);可扩展与 Cluster API 提供商协同工作许可证Apache 2.0Apache 2.0Apache 2.0一致性认证的 Kubernetes AI 平台和安装器;已在 1.36 上测试认证至 v1.35被描述为符合 CNCF 规范节点身份基于 TPM 的 SPIFFE/SPIRE 证明未披露未披露签名构建流水线是(NVKR:签名、SBOM、来源证明)未披露未披露成熟度公开预览,不用于生产自称生产就绪未披露
谁在采用 NVKE 和 NVKR?
NVIDIA 云合作伙伴 Firmus 和 SK Telecom 正在将这两个项目集成到 AI 工厂中。Mirantis、Rafay、Spectro Cloud、OpenNebula Systems 和 vCluster 正在为托管 Kubernetes 产品添加组件。Netris 正在为其网络自动化启用 NVKE。
如何试用 NVKE?
本地快速启动可运行在 1 台 Linux 主机或虚拟机上,架构为 amd64 或 arm64。它需要至少 6 个 CPU、12 GiB 可用内存、100 GiB 可用磁盘、Docker 和虚拟 TPM 支持。不需要 GPU 或 NVIDIA 账号。真实安装需要已注册容量的 NICo 部署、带 KVM 的构建主机、HTTP 服务器和镜像仓库。
NVKR 尚无合格的 Release。
要点
NVKE 管理集群;NVKR 构建并签名它们所运行的内容。
两者均为 Apache 2.0,处于公开预览阶段,不用于生产。
一致性已在 Kubernetes 1.36 上测试,并具备 TPM 证明的节点身份。
默认 API 为 HTTP,端口 30080,认证关闭。
本地评估需要 6 个 CPU、12 GiB 内存,无需 GPU。
查看 NVKE 仓库、NVKR 仓库、文档和技术博客。你可以通过我们的 GPULeaderboard.com Chrome 扩展在此查看部署选项和规格。
另外,欢迎在 Twitter 上关注我们,别忘了加入我们 15 万+ 的 ML SubReddit 并订阅我们的 Newsletter。等等!你在 Telegram 上吗?现在你也可以在 Telegram 上加入我们。
需要与我们合作推广你的 GitHub 仓库、Hugging Face 页面、产品发布或网络研讨会等?请联系我们
文章《NVIDIA Open-Sources NVKE and NVKR for Managed Kubernetes on GPU Infrastructure》首发于 MarkTechPost。