Modal 发布开源训练服务器 Spindle，兼容 Thinking Machines 的 Tinker 接口，运行在用户自己的 Modal workspace 中。用户按 GPU 时间付费，而非按 token 付费，并可自行修改服务端。Spindle 支持全参数训练和多 LoRA，覆盖多种开源模型，可同时运行数百个训练任务。Modal 称，相比闭源 API，Spindle 在相似性能下成本显著降低。部署只需一条命令。Modal 同时提供训练库 Dojo 和底层集群原语，Spindle 位于两者之间。
推荐理由按 GPU 时间计费替代按 token 计费，跑几十个实验的团队可直接省成本
在 GTC Berlin 上，英伟达 CEO 黄仁勋表示，他已要求英国 neocloud 公司 Nscale「全天候」解决数据中心延期问题。报道提到，投资者对 Nscale 的 IPO 存在疑虑。原文信息有限，未披露延期细节和 IPO 时间表。
推荐理由关注英伟达算力供应链和 neocloud 上市进展的读者，可留意这条信号。
MIT Technology Review 指出，AI 基础设施成本讨论长期聚焦 GPU，而推理产生的后端数据存储成本被忽视。西部数据（WD）内部测量显示，一段 8 秒视频返回给用户的是 3.97MB 的 720p 文件，但后端留下超过 500MB 关联数据，包括日志、缓存上下文、即时渲染、备份和安全记录，是用户所见文件体积的 130 倍。麦肯锡预测，到 2030 年 AI 推理需求年复合增长 35%，训练为 22%，推理将占数据中心总需求 40% 以上。WD 委托 IDC 对 763 名 IT 与业务决策者的调查…
推荐理由做 AI 基础设施预算的人可以直接引用：8 秒视频后端数据是输出文件的 130 倍，存储增速可能超过算力预算。
NVIDIA 发布 Nsight Python 使用教程。该开源库是 NVIDIA kernel 分析器的 Python 接口，用 nsight.annotate 标注代码、用 nsight.analyze.kernel 装饰基准函数，即可返回按标注区域、配置和运行次数组织的硬件指标 pandas DataFrame。自 1.0 版起，该库把 Nsight Compute 挂到运行中的 Python 进程，可在 Jupyter 和 Colab 中使用；即将发布的 1.1 版将加入实验性 CUPTI 后端、显式工具管…
推荐理由在 Colab 免费 T4 上就能跑通，用 pandas 直接拿到每个 kernel 的硬件指标，不用再翻 ncu 报告
黑石管理合伙人 Jas Khaira 在 TechCrunch Disrupt 上表示，市场对 AI 基建债务的担忧被夸大。黑石管理资产规模 1.3 万亿美元，今年成立旧金山 AI 中心 Blackstone N1（BXN1），自称是超大规模云厂商之外最大的算力持有者。BXN1 参与了对 Google TPU 商业化新云 Crux AI 的 50 亿美元投资，并投资芯片公司 Etched。黑石 2023 年以 GPU 作抵押、结合客户合同分析，向当时年收入仅 3000 万美元的 CoreWeave 放贷 23 亿美…
推荐理由想理解 AI 算力融资怎么定价、GPU 抵押贷款风险在哪的人，可以看 CoreWeave 那笔 23…
Vercel 发布开源包 durable-harness，把编码 Agent 的会话写入持久日志，函数崩溃或超时后由队列把这一轮交给新函数继续执行。它通过适配器包装 Pi、OpenCode、fx、Claude Code 和 Codex 共 5 种 harness，不修改原 harness。已完成的模型和工具调用从日志读回，不会重跑、不会重复计费；标记为 never 的工具（如退款）永不执行两次。包为 npm 0.0.x 版本，Apache-2.0 许可，可跑在 Vercel Functions + Queues、N…
推荐理由把编码 Agent 从笔记本搬到云端前，先看它的崩溃恢复机制和 0.0.x 实验版限制
GitLab 修复了一个严重漏洞，未认证攻击者可在自管理服务器上执行任意代码。该漏洞影响自 2014 年 7.0 版本以来的所有发布版本。原文信息有限，未披露漏洞编号、CVSS 评分和具体利用条件。
推荐理由用 GitLab 自建服务器的团队需尽快确认版本并升级，7.0 之后的所有版本都在影响范围内
一名开发者在 Arch Linux + Wayland、Intel 核显与 NVIDIA RTX 4090 Laptop 双显卡的笔记本上，为在浏览器里运行 Transformers.js 和 ONNX Runtime 的小模型，调试出可用的 WebGPU 配置。他给出的方案是一个 Bash 脚本：用独立 Chrome 配置目录，设置 VK_LOADER_DRIVERS_SELECT、__NV_PRIME_RENDER_OFFLOAD 等环境变量强制走 NVIDIA，并加上 --enable-unsafe-webg…
推荐理由想在浏览器本地跑小模型、又被 Linux 双显卡 WebGPU 卡住的人，可以直接抄这套启动参数
Dharma AI 在生产环境的葡萄牙语作文评分系统上验证：基于 Qwen3-4B，仅重建词表、保持基座模型、数据和训练配方不变，实测推理成本下降 77%。原因是通用词表存在两种浪费：一是碎片化，JSON 外壳、能力名称等高频重复内容被切成多个 token；二是冗余，模型每生成一个 token 都要对 151,669 个词表条目打分，其中大量条目该任务几乎不用。VocabX 按每个 token 的成本而非出现频率来构建词表。论文仍在评审中，数字可能变动。
推荐理由词表是训练前就能改的成本杠杆，做垂类小模型的人可以先算自己 JSON 输出占多少 token
GitHub 工程博客披露，过去一年 Git 流量指数级增长，平台上 99.99999% 的 Git 仓库已同时存放在自有数据中心和 Azure 两处，Azure 目前承载约一半的 Git 流量。迁移动因是 agent 带来的流量激增、数据中心及所在地区电力容量触顶和供应链限制。首个仓库副本于 2025 年 8 月落地 Azure 美国中部区域，多数仓库的 5 个副本中已有 2 个在 Azure。剩余 0.00001% 是最繁忙的仓库，受限于 25ms 往返延迟；GitHub 通过调整 quorum 写入串行化方式…
推荐理由了解 agent 流量如何逼出 GitHub 存储架构改造，25ms 延迟是最后一批仓库迁移的关键卡点。
AWS 在 Hugging Face 博客发布 TorchNeuron 系列第一篇，讲如何系统分析 AWS Trainium 上的推理性能。TorchNeuron 是 Trainium 的开源原生 PyTorch 后端，支持 eager 执行、torch.compile 和标准 PyTorch API，并可通过 Neuron Kernel Interface 写自定义算子。文章从零讲起，不要求读者有 profiling 经验：如何用 NeuronConfig 和 NeuronProfiler 配置 torch.pr…
推荐理由想搞清模型在专用芯片上为何慢的人，可照着配置 NeuronConfig 抓 trace
Nvidia 发布 621.01 版 GPU 驱动，支持微软的 Advanced Shader Delivery 技术。该技术把不同硬件组合的着色器编译放到云端完成：开发者用 DirectX 12、Windows 11 和 Microsoft Agility SDK 将着色器捕获进 State Object Database（SODB），再由微软云网络为数十万种硬件与驱动组合预编译。缓存命中率接近 100%，可消除游戏中“即时”着色器编译导致的 CPU 峰值和卡顿。《战争机器：E-Day》和《使命召唤：现代战争 4…
推荐理由常玩 PC 游戏的读者可升级驱动，跳过着色器编译等待并减少卡顿。
Nvidia 推出 OpenShell Reference Architecture，一套用于保护、监控和治理 AI Agent 的框架。合作方包括 Canonical、AWS、BBVA 等。原文信息有限，未披露具体技术细节和上线时间。
推荐理由做企业级 Agent 部署的团队可以留意 Nvidia 这套治理框架的切入方式
Nvidia 在 GTC Berlin 发布 DSX POD，这是基于 Vera Rubin 系统的模块化数据中心参考设计。Dell、HPE、联想、施耐德电气等合作伙伴在工厂内把计算、网络、线缆、供电和液冷装进集装箱并完成测试，到现场只需接入电力、冷却和网络，部署时间从 6 个月缩短至最快 14 天。Nvidia 称 DSX 平台的闭环冷却系统可减少最多 100% 的冷却用水，但承认极端高温气候下仍需额外制冷。首批产品计划 2027 年初全球出货。
推荐理由做数据中心、算力基建和液冷方案的人可以看：14 天部署和 100% 节水这两个数字直接关系到交付周期和选址成本。
YC S25 项目 Alter 在 Hacker News 发布 Alter Vault，为多用户 AI Agent 提供身份认证、权限授权和审计日志。核心做法是给每个 Agent 分配独立密钥和细粒度授权，而不是共用一把权限过大的密钥。平台支持 140 个服务商集成，一次 SDK 调用即可完成凭证存储、刷新、策略校验和审计，并提供 LangChain、MCP、AWS 集成。策略默认拒绝，风险调用需人工审批，可即时吊销 Agent 或密钥。合规方面 SOC 2 仍在认证中。
推荐理由做多 Agent 上生产的团队可以直接参考它的按 Agent 隔离密钥和审计方案
Google 在 PyTorch Conference North America 上发布分布式推理栈 llm-d 1.0 首个稳定版。该开源项目由 Red Hat、IBM、Google Cloud、CoreWeave 和 NVIDIA 于 2025 年共同发起，是 CNCF Sandbox 项目，采用 Apache 2.0 许可，贡献者超过 500 人。它基于 Kubernetes，可把 vLLM 或 SGLang 模型服务器整合成一个协同池，支持 NVIDIA、AMD、Intel GPU 和 Google TP…
推荐理由自建推理集群的团队可参考：首 token 延迟降低 85%、吞吐提升 2.4 倍，且兼容 vLLM
蚂蚁集团和 vLLM 社区开源通用高性能量化推理内核库 Humming，支持 Turing 及之后的 NVIDIA GPU 架构，以及平头哥真武 810E 等 CUDA 兼容设备。该库用统一架构支持稠密和 MoE 工作负载的多种权重与激活格式组合，覆盖多种整数和浮点类型、位宽和缩放方案。官方称，在多个代表性负载上，其性能显著超过 vLLM Marlin、FlashInfer 和 DeepGEMM。背景方面，DeepSeek-V3 有 6710 亿参数，每 token 激活 370 亿，量化可降低显存占用和数据搬运。…
推荐理由部署量化模型时可直接替换 Marlin、FlashInfer 内核，官方称多负载性能更优，且支持国产真武 810E
vLLM 宣布从发布第一天起就支持 Recursive 的 Flint 模型，NVFP4 和 BF16 两个 checkpoint 都能在单张 GPU 上运行；在单张 GB200 上，即使上下文长度达到 100K tokens，单次请求的解码速度仍约为 500 tokens/s。Flint 是一个 40B 参数的 MoE 模型，每个 token 只激活约 2.5B 参数，多数层使用滑动窗口注意力，上下文长度为 262K tokens。官方提供了 vllm/vllm-openai:flint 镜像，支持 x86_64…
推荐理由单张 GB200 在 100K 上下文下解码约 500 tokens/s，40B MoE 只激活 2.5B
AMD 宣布将最新的超分辨率技术 FSR 4.1 扩展到 Xbox Series S/X 主机、笔记本、Radeon RX 6000 系列 GPU 以及 Xbox Ally X 等掌机。RX 6000 系列 GPU、Ryzen AI Max 300/400 和 Ryzen AI 9 300/400 设备从今天起可通过 Adrenalin 26.10.1 驱动获得；Xbox 主机则要再等，官方仅称「即将推出」，未给出时间。FSR 4.1 已在 300 多款游戏中支持性能提升，包括《赛博朋克 2077》《战地 6》《刺…
推荐理由用 RX 6000 系显卡或 Ryzen AI 掌机的用户今天更新驱动就能用上 FSR 4.1
MIT 科技评论指出，企业 AI 正从零散的聊天机器人试验，转变为业务的基础设施层，衡量指标也从 token 或 GPU 小时单价，转向「每个有用产出的有效成本」，即完成一项可用工作所需的总平台、模型、运营和算力成本。文章列出三种运行模式：自建定制栈、按需消费（超大规模云厂商）、集成式私有 AI 平台。核心观点是：拥有 GPU 只是获得更优经济性的前提，还需足够的需求和运营纪律让资源保持产出，例如把任务路由到满足质量要求的最便宜模型、复用缓存、做好调度和 GPU 切分。原文信息有限，未给出具体数字。
推荐理由想算清企业 AI 真实成本的团队可以看：它把「每 token 单价」换成「每个有用产出的成本」
YC W24 团队 Respan 在 Hacker News 发布开源 Rust AI 网关。该网关采用解耦架构，提供商、协议（MCP、语音）、模态（图像、视频）和网关功能（故障转移、PII 脱敏、智能路由）均以插件形式实现。团队称不把大量提供商和功能打包进单一网关，而是提供小核心和公开接口供团队自行扩展。原文信息有限，未披露性能数据与开源协议。
推荐理由做多模型接入或需要 PII 脱敏、智能路由的团队，可看插件化网关的另一种架构取舍
Reliable Robotics 完成 D 轮扩展融资 1.15 亿美元，其中 9000 万美元股权由 Nimble Partners 领投，2500 万美元债务来自硅谷银行。D 轮累计 2.75 亿美元，公司估值突破 10 亿美元，累计融资 3.8 亿美元。公司为现役飞机加装自主飞行系统，正推进 FAA 的四项认证：首款产品让飞行员留在机上、通过触屏交互完成发动机启动、滑行、起飞和降落，CEO Robert Rose 预计 18 至 24 个月内取证；第二项认证将飞行员移至地面控制站，至少还需 3 年；自研无活…
推荐理由看 FAA 四项认证的时间表：18-24 个月、3 年、2027 年底，可判断自主飞行商业化节奏
DeepSeek 开源了内部生产推理栈 DeepInfer，官方称其用于加速推理、优化芯片性能并降低能耗与算力成本。原文未披露 DeepInfer 的具体技术细节、支持的硬件范围、性能提升数字和开源许可证。
推荐理由DeepSeek 首次公开生产级推理栈，做推理部署和成本优化的人可以直接去看实现思路
三星在韩国平泽建设大型半导体制造园区，已有三座晶圆厂 24 小时运转，第四座即将投产；第五座在 2024 年因存储芯片需求下滑而停工，AI 热潮带动需求后重启。园区面积约相当于纽约中央公园。三星预计存储芯片需求将持续增长至 2028 年，并希望借此夺回被 SK 海力士抢占的高带宽内存（HBM）市场份额。
推荐理由看懂 AI 算力扩张的上游瓶颈：HBM 产能与三星、SK 海力士的份额之争，直接影响 GPU 供给和价格。
Exa 发布面向 AI Agent 的搜索 API Exa 3.0，新增更便宜的搜索类型 Exa Lite，每 1000 次请求 4 美元，与 Exa Auto 共用同一索引。Dynamic Highlights 正式可用，官方称比整页文本少用 95% token 且不额外收费。Exa 称在 8 项自测基准上领先 Perplexity、Brave 和 Parallel，BrowseComp 得分 91.8%，ATLAS 为 42.0%，对 Perplexity 的 37.2%。基准由 Exa 自行运行，属自报数据。…
推荐理由做 Agent 检索可算成本：Lite 每千次 4 美元，比整页文本省 95% token
PyTorch 2.15 在 MPS 后端加入 FP8 支持，可在 Mac 上以 BF16 一半的空间存储 float8_e4m3fn 数值。MoE 模型解码速度比 2.14 快 5-6.5 倍：在 M3 Ultra 上，Qwen3.6-35B-A3B 从 9.4 tokens/s 提升到 61.3 tokens/s，LFM2.5-8B-A1B 从 23.6 提升到 123.6。词表 softmax 约快 8 倍。Wan2.2 视频 VAE 解码峰值内存从 270 GiB 降到约 8 GiB。此外还修复了 Qwen…
推荐理由在 Mac 上运行本地大模型的用户升级后，MoE 解码速度可提升 5 倍以上
Modal 发布 Sticky Sessions，让同一会话的所有请求固定落在同一个容器上，解决语音转文字、语音 Agent、多人游戏等需要跨请求保持状态的场景。用法是给 Modal Server 加 @modal.sessioned() 装饰器，再通过 SDK 或 HTTP API 开启会话。此前 WebSocket 连接绑定的是 Function input 而非容器，断线重连可能落到不同容器；共享 Affinity-Routing-Key 头只能尽力而为，容器仍可能被缩容替换。Sticky Sessions …
推荐理由做实时语音或长连接推理的开发者可以直接用 @modal.sessioned() 替代 max_containers=1…
AnyLanguageModel 发布 1.0 版本，同时推出 swift-huggingface 1.0 和 swift-xet 1.0。该项目是 Apple Foundation Models 框架的兼容替代品，只需把 import FoundationModels 改成 import AnyLanguageModel，同一套会话代码即可调用系统模型、llama.cpp、MLX、Core ML 的本地开源模型，以及 OpenAI、Anthropic、Gemini、Ollama、Private Cloud Com…
推荐理由Apple 平台开发者只需改一行 import，就能在本地模型和多家云端 API 之间切换
vLLM 发布 vllm-torchtpu，这是让 vLLM 在 Google Cloud TPU 上运行的新后端，基于 Google 的 TorchTPU 栈，复用 vLLM 现有模型代码，多数模型无需改动即可在 TPU 上部署。该项目来自 Inferact 与 Google 上个月宣布的工程合作。安装方式为 pip install vllm-torchtpu，需 Python 3.12 的 Cloud TPU VM。调度器、KV cache 管理器、OpenAI 兼容 API 服务均沿用上游 vLLM 未修改版…
推荐理由在 TPU 上跑 vLLM 只需 pip 装插件，模型代码不用改，已有 vLLM 部署可平移
CoreWeave 债券收益率较国债高出 1000 个基点，按常见定义已进入困境债务区间。自上周二收盘以来股价跌超 20%，并波及部分其他 AI 公司。联合创始人 Brannin McBee 表示希望债务达到投资级，以便向保险公司借款，这加剧了投资者对其继续举债的担忧。截至第二季度财报，CoreWeave 负债超 350 亿美元，上半年亏损超 10 亿美元，客户剩余履约义务为 1037 亿美元。
推荐理由持有 AI 算力股或关注 AI 基建融资的人，可看 350 亿美元负债和 1037 亿美元订单这两个数字的对比。
AI 编码工具 OpenCode 遭黑客攻击，攻击者利用漏洞在用户 AI 账户上产生费用。原文正文实际主要报道 AWS 发布 TorchNeuron 工具，该工具让 PyTorch 应用只需改一行配置即可跑在亚马逊 Trainium 芯片上，AWS 称约 85% 的 AI 应用用 PyTorch 编写。关于 OpenCode 攻击事件的具体细节，原文信息有限。
推荐理由用 OpenCode 的开发者应尽快检查自己账户的用量和扣费记录。
Numan 基于 LangGraph 和 LangSmith 构建了 AI 健康教练 Nu，采用按类别评估、模拟对话和合规安全门控。原文信息有限，未披露模型选型、评估指标数值或上线效果数据。
推荐理由做医疗、健康类 Agent 的团队可参考其按类别评估加安全门控的落地方式
NVIDIA 上周向 Modal 旧金山办公室交付首台 Vera CPU 服务器。Vera 是 NVIDIA 新推出的 Arm 兼容 CPU，既可搭配 Vera Rubin GPU 平台，也能作为独立 CPU 服务器使用。Modal 此前只用 x86 机器，支持 Arm 需改造基础设施和镜像构建系统。基准测试显示吞吐量提升 2 倍。Modal 称沙箱负载波动大、形态运行时才确定，Vera 对多租户调度有吸引力。
推荐理由Modal 实测 Vera 吞吐翻倍，做 Agent 沙箱或 Arm 部署的可关注架构迁移成本
开发者 erikkannike 在 MacBook Air 上微调 Qwen3-4B-Instruct，发布 qwen3-4b-deslop，用 Ollama 一条命令即可运行，模型 2.5 GB。在 40 条训练未见过的提示上，AI 腔调检测分数从每千词 121 降到 12.5，68% 的回答落在人类写作区间，破折号从每千词 20.5 个降到 0。30 道事实题全部答对，体裁和长度符合率与原模型相当。训练仅用 161 条回答，作者称方法不依赖模型规模，下一步将用于更大模型。缺点是文风偏平，仍会编造人名地名。
推荐理由想本地跑一个不带 AI 腔的写作模型，2.5 GB 一条 Ollama 命令即可，破折号归零
数据中心与新云行业高管预计，当前涌入市场的数百家 AI 云服务商中，几年后只剩 7 到 10 家。此前一周，澳大利亚厂商 Firmus 撤回 IPO，CoreWeave 及小型竞争对手股价下跌约 20%，CoreWeave 市值蒸发四分之一，信用风险指标创历史新高。Nscale 方面，微软退出了在英格兰 Loughton 租用 2.3 万块英伟达芯片的数据中心交易，该站点供电要等到 2030 年代；投资者还推动将其目标市值从约 300 亿美元下调至 160 亿至 190 亿美元。英伟达超大规模客户以外的客户群（含新…
推荐理由看清英伟达 45% 数据中心收入押在新云上的集中风险，以及 CoreWeave、Nscale 的具体跌幅与估值变化
NVIDIA 将完整的 Run:ai 平台以 Apache 2.0 协议在 GitHub 开源，平台团队可自行检查、fork 和自托管，无需付费订阅。代码为 monorepo，包含控制平面、集群服务、安装器、CLI 和 MCP server，本地构建约 50 个 Go 服务。拆分为 4 个可独立采用的组件：KAI Scheduler（CNCF Sandbox 项目，支持 gang 调度、公平份额、拓扑感知）、GPU Fractioning Operator（基于 CUDA 13.4 原生 GPU 切分，按工作负载强…
推荐理由自托管 GPU 调度可省订阅费，本地 8 卡模拟环境 16 GB 内存即可跑起来
据 Financial Times 报道，欧洲三家最大的工业公司正在从 AI 热潮中获益。施耐德电气和西门子进一步向软件业务扩张，竞争对手 ABB 则押注实体设备。原文信息有限，未披露具体财务数字或交易细节。
推荐理由了解工业巨头如何切入 AI 产业链，软件与硬件两条路线形成对照
Hugging Face 发布 TorchNeuron，为 AWS Trainium 提供 PyTorch 原生后端，支持 eager 模式、torch.compile 以及 FSDP、TP 等分布式 API。Transformers、Diffusers、Accelerate、PEFT、TRL 可直接在 Trainium 上运行，无需再经过 Optimum Neuron。10 月 20 日起开放公测，可通过 pip install torch-neuronx 安装。在文本生成方面，使用 TorchNeuron 时，…
推荐理由在 Trainium 上跑模型的架构覆盖率从 46% 升到 89%，只需改一个 device_map 参数
Simon Willison 更新调试插件 llm-echo 至 0.5 版本。该插件提供一个不调用真实 LLM 的「模型」，只回显输入提示词，用于调试。新版模拟 token 用量时会计入工具调用、系统提示词和推理 token。示例中执行 llm -m echo 'hi there' -o thinking 1 --usage 后，输出显示 2 个输入 token、24 个输出 token。
推荐理由用 LLM 命令行工具调试 Agent 时，可以用它零成本验证 token 计费逻辑
开发者 finereli 在 GitHub 发布 whatsapp-mcp 项目，让 Claude 移动端可以读取个人 WhatsApp 消息。现有方案要么需要 WhatsApp Business 账号，要么需要自建服务器运行 Baileys，该项目改为免费部署在 Cloudflare 上，并使用个人 WhatsApp 账号。项目还会连接 Google 账号获取联系人姓名，否则很多联系人只有手机号，搜索功能无法正常工作。原文正文信息有限，未披露具体部署步骤和限制。
推荐理由想在手机上让 Claude 读取 WhatsApp 消息的人，可以看这个免费部署方案，省掉自建服务器。