#部署工程

全部资讯模型
清除条件
共 90 条 · 第 1/3 页
MarkTechPost21 小时前模型新模型发布海外

Prime Intellect 发布 Prime Mega MoE:前向快 3.11 倍

Prime Intellect 在 DeepSeek 开源 DeepGEMM 库的 Mega MoE 内核基础上补上了反向传播实现,使其可用于训练而非仅推理。在 Qwen3-30B-A3B 和 Qwen3-235B-A22B 上测试,完整训练步比 prime-rl 基线快 32% 到 34%,比 TorchTitan 快 48% 到 55%;单层前向最快提升 3.11 倍(12.0 ms 降至 3.9 ms),反向最差也有 1.24 倍。支持 Hopper 的 blockwise FP8 与 Blackwell 的…

推荐理由训练 MoE 可直接省 30% 以上 GPU 小时,代码在 prime-rl 里能换

The Verge AI1 天前模型产品发布/更新海外

149 美元的电子蜡烛用 AI 模拟烛火闪烁

Arduboy 创始人 Kevin Bates 推出 Digital Candle:10 英寸高,顶部 144 颗琥珀色 LED 排成 9×16 网格,由乐鑫 ESP32-S3 芯片运行一个在真实烛火视频上训练的小型神经网络,实时生成不重复的火焰动画,而非循环播放预设动画。产品售价 149 美元,需 USB-C 供电,不含电池,提供黑白两种电路板配色。产品开源,可改作时钟、通知屏或运行康威生命游戏。

推荐理由149 美元买一块开源 ESP32-S3 LED 板,可拆开改造成时钟或通知屏

vLLM1 天前模型新模型发布海外

vLLM 首日支持 Mistral Large 4:1T 参数 MoE 多模态模型

vLLM 宣布在发布当天支持 Mistral Large 4。这是 Mistral 的新一代 MoE 原生多模态模型,总参数 1 万亿,每 token 激活 49B(含嵌入和输出层为 52B)。架构为 72 层 MoE、128 个路由专家(top-4)加 1 个共享专家,采用 MLA 加 DSA 稀疏索引器(每 query 选 top 2048 个 key),并带有 Pixtral 视觉编码器和内置 DSpark 推测解码草稿器。提供 FP8 与 NVFP4 两种 checkpoint,默认使用 FP8 潜在 KV…

推荐理由想自己部署 1T 级开源多模态模型的人,可以直接用官方 Docker 镜像和现成启动命令,在 8 卡上运行 FP8

The Verge AI1 天前模型行业动态海外2 个独立信源

苹果触屏 MacBook Pro 顶配售价 14549 美元

苹果新款触屏 MacBook Pro 的顶配价格达到 14549 美元,比上一代顶配贵 4400 美元。14 英寸和 16 英寸起售价分别为 2899 美元和 3399 美元。顶配包含 M5 Max 芯片(18 核 CPU、40 核 GPU)、纳米纹理玻璃、128GB 内存(加价 2000 美元)和 16TB 存储。16TB 存储选配单项加价 7000 美元,是涨价主因,原文提到这与当前内存短缺有关。若只选 8TB 存储(加价 3000 美元),顶配为 10549 美元,比上代贵 400 美元。

推荐理由想买顶配的人先看这个数字:16TB 存储单项加价 7000 美元,选 8TB 能省 4000 美元。

OpenRouter 公告2 天前模型技巧与观点海外

OpenRouter 发布 Claude 529 过载错误处理指南

OpenRouter 发布教程,解释 Anthropic API 返回的 529 overloaded_error 表示该模型在所有用户范围内容量不足,与调用方的密钥、套餐和请求本身无关,通常几秒后重试即可通过。文中区分了 529 与 429:429 是调用方自身用量或额度超限,529 不计入配额。建议先用带随机抖动的指数退避重试(Anthropic SDK 和 Claude Code 已内置),过载持续时把同一模型请求转发给其他提供商;在 OpenRouter 上 Claude Sonnet、Opus、Haiku…

推荐理由遇到 529 时可直接照做的退避重试与多提供商故障转移方案,含可运行代码

Hacker News · AI2 天前模型产品发布/更新海外

Survival LLM:断网也能用的本地 AI 应急助手

开发者推出开源项目 Survival LLM,AI 模型和资料库全部运行在本地电脑上,断网后仍可使用,提问内容不会离开本机。内置资料包括医疗参考、FEMA 与 CDC 指南、生存手册、维修指南和约 93 万篇维基百科文章,每条回答都会列出所引用的文章,并高亮其中的具体段落。应用会根据电脑内存自动选择模型:128 GB 以上的 Mac 使用 NVIDIA Nemotron 3.5 Super(80 GB),32–96 GB 的 Mac 使用 Qwen3.8 27B(18 GB),32 GB 以上的 Windows P…

推荐理由断网应急场景可直接用,按内存选模型有明确对照表,Granite 版仅 6 GB 下载

DEV Community · AI3 天前模型技巧与观点海外

5 个开源 LLM 网关对比:Bifrost、Kong、LiteLLM 等

DEV Community 发布了一篇对比文章,梳理 5 个开源 LLM 网关:Bifrost(独立 Go 网关,支持模型、MCP 和 Agent 流量控制)、Kong AI Gateway(在 Kong Gateway 内提供 AI 能力)、Agent Router(基于 Envoy Gateway 和 Kubernetes)、Apache APISIX(通用 API 网关加 AI 插件)、LiteLLM(专注模型路由)。文章提醒开源不等于全部功能免费或可自托管,采用前需核对许可证和功能边界,并给出选型维度:供应…

推荐理由选 LLM 网关前先看这张对比表,能省掉逐个查许可证和功能边界的时间

The Verge AI3 天前模型行业动态海外2 个独立信源

Anduril 与高通合作推出美国造笔记本 BlueChip

Anduril 与高通宣布合作推出笔记本品牌 BlueChip,2027 年初上市,首款产品是面向美国军方的加固机型,采用 Arm 架构的 Snapdragon X 系列芯片,在 Anduril 俄亥俄州 Arsenal-1 工厂组装。首批产品仅做到「设计与组装于美国」,并非整机国产;CEO Palmer Luckey 称美国产零部件比例「待定」,首批大概率达不到联邦采购 65% 的国产门槛。高通 CEO Amon 表示处理器计划在台积电亚利桑那厂生产,投资额未披露。项目由两家公司自筹资金,未获政府补贴。

推荐理由看清「美国制造」标签的实际成色:首批仅组装在美,国产比例未定,芯片靠台积电亚利桑那厂。

MarkTechPost5 天前模型技巧与观点海外

教程:用 llama.cpp 跑 2-bit 量化的 Saluki 27B 工具调用

MarkTechPost 发布教程,介绍 Underdog Saluki 27B:它是 Qwen3.8-27B 的 7.9 GB 量化版本,作者称在约 2 bit 每权重下仍保留工具调用能力,并在其自建的 120 项基准上略胜 54 GB 全量模型。Saluki 基于 ISTA-DASLab 对同一模型的 GSQ-RCO 量化。教程在原生 llama.cpp 中并排对比两个文件:逐张量比对 GGUF 头、逐字节比较,判断 Saluki 是 ISTA 量化结果的再加工还是改过的模型;随后在单张 GPU 上分别部署,记…

推荐理由想在单卡上跑 27B 工具调用模型的人,可照教程复现 7.9 GB 版本与 54 GB 全量版的对比测试。

Hacker News · AI5 天前模型新模型发布海外

Cerebras Deploys Trillion-Parameter AI Models

One of the most frequently asked questions we get is how we deploy large models on Cerebras wafer-scale chips. A single Cerebras WSE-3T wafer has 44 GB of on-chip memory, and trillion-parameter frontier models need terab…

推荐理由模型发布/更新类信息,来自 Hacker News · AI,建议按需查看原文。

TechCrunch AI5 天前模型新模型发布海外

Block 发布可在 MacBook M4 Max 本地运行的语音模型

Block 发布了一款语音模型,称其听起来「异常像人」。该模型可在 MacBook M4 Max 上本地运行。原文未披露模型名称、参数规模、开源方式、具体性能指标和发布时间等细节,信息有限。

推荐理由关注本地部署语音模型的开发者可以留意,官方称可在 M4 Max 上离线运行。

vLLM10/23模型技巧与观点海外

vLLM 在 16 张 H200 上优化 GLM-5.3 长上下文推理

vLLM 团队公布 GLM-5.3 在 16 张 H200 上的部署优化方案,采用 1 个 prefill 节点加 1 个 decode 节点的分离架构。Prefill Context Parallelism(PCP)按 token 而非注意力头切分 prompt,更适配 GLM-5.3 的稀疏注意力;Decode Context Parallelism(DCP)按 token 分片 prefill 引擎的 KV cache,使 100 万 token 上下文能装进 prefill 节点;Hybrid HiSpar…

推荐理由部署长上下文 Agent 服务可参考:PCP8×DCP8 单用户速度提升 1.7–3.2 倍

Modal10/23模型新模型发布海外

Sakana AI 与 Modal 合作部署约 1 万亿参数 MoE 模型

Sakana AI 在 Modal 上部署约 1 万亿参数的 MoE 模型 Sakana Namazu,面向日本商业场景、实时网页搜索和代码执行。Modal 团队针对日语保留调优 NVFP4 量化:只量化路由专家,注意力、路由器和共享专家保持 BF16;校准数据以日语对话为主,覆盖全部 23,040 个专家。量化后日语指令跟随能力与生产检查点持平。另训练定制 DFlash 草稿模型用于投机解码,通用草稿模型接受率不足 40%。服务运行在 Modal 全球 GPU 池上,无需预留容量。

推荐理由万亿参数 MoE 的量化与投机解码实操细节,做大规模推理部署的团队可直接参考

vLLM10/23模型技巧与观点海外

vLLM 在 GB300 NVL72 上服务 DeepSeek-V4.1-Flash

vLLM 官方博客称,在单台 NVIDIA GB300 NVL72 机架上,采用 P/D 分离和 Wide-EP 的 vLLM 运行 DeepSeek-V4.1-Flash,在 SemiAnalysis AgentX 上达到每 GPU 954K tokens/s,单用户 P90 为 196 tokens/s,是首个帖子中单节点结果的 7.9 倍,按 DeepSeek 非高峰价格计为每 GPU 小时 38.96 美元。专用 decode 路径单用户可达 826 tokens/s。与 DeepSeek 自研引擎 Dee…

推荐理由做 DeepSeek 大模型推理部署的团队可参考:单 GPU 954K tokens/s

Hugging Face 博客10/23模型技巧与观点海外

Hugging Face 上线 torch-neuronx 模型支持查询工具

Hugging Face 博客介绍了一个 Space 工具,用于查询 Hub 上的热门模型能否在 AWS Trainium 上不经修改直接运行。该工具按下载量和趋势排名列出模型,每行给出测试结果、模型分片所用的 Trainium 核心数、运行实际耗时(含编译)和峰值显存。用户可切换视图搜索指定模型,并选择 neuronx-cc 与 Transformers 版本。目前仅测试 Transformers 的文本生成和图文模型,计划扩展到 diffusers 等。工具还提供 run.py 脚本和 NEFF 缓存同步命令,…

推荐理由要在 AWS Trainium 上跑模型的开发者,可直接查目标模型是否兼容,并拿到现成脚本和缓存命令。

MIT Technology Review10/23模型技巧与观点海外

MIT 科技评论:企业 AI 的竞争优势在于模型之外的 serving harness

MIT 科技评论指出,企业 AI 的竞争重点正从模型能力转向围绕模型搭建的 serving harness,即架构、内存管理、调度与优化决策。文章认为,生产环境中的延迟、并发、内存压力、GPU 利用率和基础设施成本等约束,比模型准确率更能决定部署成败;一个准确率略高但推理成本翻倍的模型未必是更好的生产选择。文章建议先明确工作负载,再由约束决定架构,把 serving 架构视为投资决策。原文正文在此处截断,后续内容信息有限。

推荐理由做企业 AI 部署的架构师和 CTO 可据此重新分配预算:先看延迟和 GPU 成本,再选模型。

MarkTechPost10/23模型产品发布/更新海外

Liquid AI 发布 RIPL 实时推理引擎,LFM 端到端延迟低于 50 ms

Liquid AI 发布 Liquid RIPL(Real-time Inference Pipeline),一个在实时请求路径中运行 Liquid Foundation Models(LFM)的低延迟推理引擎,端到端返回完整生成结果低于 50 ms,并称在峰值负载下持续有请求到达时延迟仍能保持。支持 LFM2.5 系列 230M 到 2.6B 参数模型,运行在 NVIDIA H100、H200、B200 和 RTX PRO 6000 上,基准测试用单张 B200。据其自测,p95 延迟比 vLLM 上的 Qwen…

推荐理由做搜索排序、风控、支付授权这类毫秒级场景的团队,可参考其 6 个实时工作负载的延迟预算数据

LangChain10/22模型产品发布/更新海外

LangSmith 推出 LLM Gateway 公测版,为 Agent 提供运行时管控

LangChain 宣布 LangSmith LLM Gateway 进入公开测试。该网关位于 Agent 与模型之间,统一执行运行时管控,避免成本超支和故障。支持按组织、工作区、API key、用户四个层级设置限时花费上限并追踪支出,超限时 Agent 收到 402 响应;同样四级可设速率限制;还支持模型回退和敏感数据处理。多租户场景下,可通过自定义请求头识别终端客户,在共用一把 API key 的情况下为每个客户单独设花费和速率上限。

推荐理由做生产环境 Agent 的团队可直接用:花费上限、限流、模型回退一次配置,避免重试循环烧出四位数账单

Modal10/22模型产品发布/更新海外

Modal 开源 Spindle:兼容 Tinker 的训练服务器

Modal 发布开源训练服务器 Spindle,兼容 Thinking Machines 的 Tinker 接口,运行在用户自己的 Modal workspace 中。用户按 GPU 时间付费,而非按 token 付费,并可自行修改服务端。Spindle 支持全参数训练和多 LoRA,覆盖多种开源模型,可同时运行数百个训练任务。Modal 称,相比闭源 API,Spindle 在相似性能下成本显著降低。部署只需一条命令。Modal 同时提供训练库 Dojo 和底层集群原语,Spindle 位于两者之间。

推荐理由按 GPU 时间计费替代按 token 计费,跑几十个实验的团队可直接省成本

MIT Technology Review10/22模型行业动态海外

AI 推理的隐性存储账单:8 秒视频留下 500MB 后端数据

MIT Technology Review 指出,AI 基础设施成本讨论长期聚焦 GPU,而推理产生的后端数据存储成本被忽视。西部数据(WD)内部测量显示,一段 8 秒视频返回给用户的是 3.97MB 的 720p 文件,但后端留下超过 500MB 关联数据,包括日志、缓存上下文、即时渲染、备份和安全记录,是用户所见文件体积的 130 倍。麦肯锡预测,到 2030 年 AI 推理需求年复合增长 35%,训练为 22%,推理将占数据中心总需求 40% 以上。WD 委托 IDC 对 763 名 IT 与业务决策者的调查…

推荐理由做 AI 基础设施预算的人可以直接引用:8 秒视频后端数据是输出文件的 130 倍,存储增速可能超过算力预算。

MarkTechPost10/22模型技巧与观点海外

NVIDIA 发布 Nsight Python 教程:在 Python 里直接分析 GPU Kernel

NVIDIA 发布 Nsight Python 使用教程。该开源库是 NVIDIA kernel 分析器的 Python 接口,用 nsight.annotate 标注代码、用 nsight.analyze.kernel 装饰基准函数,即可返回按标注区域、配置和运行次数组织的硬件指标 pandas DataFrame。自 1.0 版起,该库把 Nsight Compute 挂到运行中的 Python 进程,可在 Jupyter 和 Colab 中使用;即将发布的 1.1 版将加入实验性 CUPTI 后端、显式工具管…

推荐理由在 Colab 免费 T4 上就能跑通,用 pandas 直接拿到每个 kernel 的硬件指标,不用再翻 ncu 报告

MarkTechPost10/22模型产品发布/更新海外

Vercel 开源 durable-harness,让编码 Agent 崩溃后不丢工作

Vercel 发布开源包 durable-harness,把编码 Agent 的会话写入持久日志,函数崩溃或超时后由队列把这一轮交给新函数继续执行。它通过适配器包装 Pi、OpenCode、fx、Claude Code 和 Codex 共 5 种 harness,不修改原 harness。已完成的模型和工具调用从日志读回,不会重跑、不会重复计费;标记为 never 的工具(如退款)永不执行两次。包为 npm 0.0.x 版本,Apache-2.0 许可,可跑在 Vercel Functions + Queues、N…

推荐理由把编码 Agent 从笔记本搬到云端前,先看它的崩溃恢复机制和 0.0.x 实验版限制

Hugging Face 博客10/22模型论文研究海外

VocabX:不改基座模型,词表特化让推理成本降 77%

Dharma AI 在生产环境的葡萄牙语作文评分系统上验证:基于 Qwen3-4B,仅重建词表、保持基座模型、数据和训练配方不变,实测推理成本下降 77%。原因是通用词表存在两种浪费:一是碎片化,JSON 外壳、能力名称等高频重复内容被切成多个 token;二是冗余,模型每生成一个 token 都要对 151,669 个词表条目打分,其中大量条目该任务几乎不用。VocabX 按每个 token 的成本而非出现频率来构建词表。论文仍在评审中,数字可能变动。

推荐理由词表是训练前就能改的成本杠杆,做垂类小模型的人可以先算自己 JSON 输出占多少 token

Hugging Face 博客10/22模型技巧与观点海外

AWS 博客:用 torch.profiler 分析 Trainium 推理性能

AWS 在 Hugging Face 博客发布 TorchNeuron 系列第一篇,讲如何系统分析 AWS Trainium 上的推理性能。TorchNeuron 是 Trainium 的开源原生 PyTorch 后端,支持 eager 执行、torch.compile 和标准 PyTorch API,并可通过 Neuron Kernel Interface 写自定义算子。文章从零讲起,不要求读者有 profiling 经验:如何用 NeuronConfig 和 NeuronProfiler 配置 torch.pr…

推荐理由想搞清模型在专用芯片上为何慢的人,可照着配置 NeuronConfig 抓 trace

Techmeme10/21模型行业动态海外2 个独立信源

Nvidia 发布 DSX POD 模块化数据中心,部署时间从 6 个月缩短到 14 天

Nvidia 在 GTC Berlin 发布 DSX POD,这是基于 Vera Rubin 系统的模块化数据中心参考设计。Dell、HPE、联想、施耐德电气等合作伙伴在工厂内把计算、网络、线缆、供电和液冷装进集装箱并完成测试,到现场只需接入电力、冷却和网络,部署时间从 6 个月缩短至最快 14 天。Nvidia 称 DSX 平台的闭环冷却系统可减少最多 100% 的冷却用水,但承认极端高温气候下仍需额外制冷。首批产品计划 2027 年初全球出货。

推荐理由做数据中心、算力基建和液冷方案的人可以看:14 天部署和 100% 节水这两个数字直接关系到交付周期和选址成本。

MarkTechPost10/21模型产品发布/更新海外

Google Cloud 发布 llm-d 1.0,支持 TPU 与 GPU 缓存感知路由

Google 在 PyTorch Conference North America 上发布分布式推理栈 llm-d 1.0 首个稳定版。该开源项目由 Red Hat、IBM、Google Cloud、CoreWeave 和 NVIDIA 于 2025 年共同发起,是 CNCF Sandbox 项目,采用 Apache 2.0 许可,贡献者超过 500 人。它基于 Kubernetes,可把 vLLM 或 SGLang 模型服务器整合成一个协同池,支持 NVIDIA、AMD、Intel GPU 和 Google TP…

推荐理由自建推理集群的团队可参考:首 token 延迟降低 85%、吞吐提升 2.4 倍,且兼容 vLLM

vLLM10/21模型新模型发布海外

蚂蚁集团与 vLLM 开源量化推理内核库 Humming

蚂蚁集团和 vLLM 社区开源通用高性能量化推理内核库 Humming,支持 Turing 及之后的 NVIDIA GPU 架构,以及平头哥真武 810E 等 CUDA 兼容设备。该库用统一架构支持稠密和 MoE 工作负载的多种权重与激活格式组合,覆盖多种整数和浮点类型、位宽和缩放方案。官方称,在多个代表性负载上,其性能显著超过 vLLM Marlin、FlashInfer 和 DeepGEMM。背景方面,DeepSeek-V3 有 6710 亿参数,每 token 激活 370 亿,量化可降低显存占用和数据搬运。…

推荐理由部署量化模型时可直接替换 Marlin、FlashInfer 内核,官方称多负载性能更优,且支持国产真武 810E

The Verge AI10/21模型产品发布/更新海外

AMD 将 FSR 4.1 下放到 Xbox 主机与掌机

AMD 宣布将最新的超分辨率技术 FSR 4.1 扩展到 Xbox Series S/X 主机、笔记本、Radeon RX 6000 系列 GPU 以及 Xbox Ally X 等掌机。RX 6000 系列 GPU、Ryzen AI Max 300/400 和 Ryzen AI 9 300/400 设备从今天起可通过 Adrenalin 26.10.1 驱动获得;Xbox 主机则要再等,官方仅称「即将推出」,未给出时间。FSR 4.1 已在 300 多款游戏中支持性能提升,包括《赛博朋克 2077》《战地 6》《刺…

推荐理由用 RX 6000 系显卡或 Ryzen AI 掌机的用户今天更新驱动就能用上 FSR 4.1

MIT Technology Review10/20模型行业动态海外

MIT 科技评论:企业 AI 进入新成本经济学阶段

MIT 科技评论指出,企业 AI 正从零散的聊天机器人试验,转变为业务的基础设施层,衡量指标也从 token 或 GPU 小时单价,转向「每个有用产出的有效成本」,即完成一项可用工作所需的总平台、模型、运营和算力成本。文章列出三种运行模式:自建定制栈、按需消费(超大规模云厂商)、集成式私有 AI 平台。核心观点是:拥有 GPU 只是获得更优经济性的前提,还需足够的需求和运营纪律让资源保持产出,例如把任务路由到满足质量要求的最便宜模型、复用缓存、做好调度和 GPU 切分。原文信息有限,未给出具体数字。

推荐理由想算清企业 AI 真实成本的团队可以看:它把「每 token 单价」换成「每个有用产出的成本」

MarkTechPost10/20模型产品发布/更新海外

Exa 3.0 搜索 API 发布:Lite 每千次 4 美元

Exa 发布面向 AI Agent 的搜索 API Exa 3.0,新增更便宜的搜索类型 Exa Lite,每 1000 次请求 4 美元,与 Exa Auto 共用同一索引。Dynamic Highlights 正式可用,官方称比整页文本少用 95% token 且不额外收费。Exa 称在 8 项自测基准上领先 Perplexity、Brave 和 Parallel,BrowseComp 得分 91.8%,ATLAS 为 42.0%,对 Perplexity 的 37.2%。基准由 Exa 自行运行,属自报数据。…

推荐理由做 Agent 检索可算成本:Lite 每千次 4 美元,比整页文本省 95% token

Hugging Face 博客10/20模型产品发布/更新海外

AnyLanguageModel 1.0 发布:Apple 平台统一本地与云端模型接口

AnyLanguageModel 发布 1.0 版本,同时推出 swift-huggingface 1.0 和 swift-xet 1.0。该项目是 Apple Foundation Models 框架的兼容替代品,只需把 import FoundationModels 改成 import AnyLanguageModel,同一套会话代码即可调用系统模型、llama.cpp、MLX、Core ML 的本地开源模型,以及 OpenAI、Anthropic、Gemini、Ollama、Private Cloud Com…

推荐理由Apple 平台开发者只需改一行 import,就能在本地模型和多家云端 API 之间切换

vLLM10/20模型产品发布/更新海外

vLLM 发布 TorchTPU 后端,可在 Google TPU 上运行

vLLM 发布 vllm-torchtpu,这是让 vLLM 在 Google Cloud TPU 上运行的新后端,基于 Google 的 TorchTPU 栈,复用 vLLM 现有模型代码,多数模型无需改动即可在 TPU 上部署。该项目来自 Inferact 与 Google 上个月宣布的工程合作。安装方式为 pip install vllm-torchtpu,需 Python 3.12 的 Cloud TPU VM。调度器、KV cache 管理器、OpenAI 兼容 API 服务均沿用上游 vLLM 未修改版…

推荐理由在 TPU 上跑 vLLM 只需 pip 装插件,模型代码不用改,已有 vLLM 部署可平移

Modal10/20模型产品发布/更新海外

Modal 推出 Sticky Sessions:无服务器推理支持会话粘性路由

Modal 发布 Sticky Sessions,让同一会话的所有请求固定落在同一个容器上,解决语音转文字、语音 Agent、多人游戏等需要跨请求保持状态的场景。用法是给 Modal Server 加 @modal.sessioned() 装饰器,再通过 SDK 或 HTTP API 开启会话。此前 WebSocket 连接绑定的是 Function input 而非容器,断线重连可能落到不同容器;共享 Affinity-Routing-Key 头只能尽力而为,容器仍可能被缩容替换。Sticky Sessions …

推荐理由做实时语音或长连接推理的开发者可以直接用 @modal.sessioned() 替代 max_containers=1…

Modal10/19模型行业动态海外

NVIDIA Vera CPU 让 Modal 沙箱吞吐量翻倍

NVIDIA 上周向 Modal 旧金山办公室交付首台 Vera CPU 服务器。Vera 是 NVIDIA 新推出的 Arm 兼容 CPU,既可搭配 Vera Rubin GPU 平台,也能作为独立 CPU 服务器使用。Modal 此前只用 x86 机器,支持 Arm 需改造基础设施和镜像构建系统。基准测试显示吞吐量提升 2 倍。Modal 称沙箱负载波动大、形态运行时才确定,Vera 对多租户调度有吸引力。

推荐理由Modal 实测 Vera 吞吐翻倍,做 Agent 沙箱或 Arm 部署的可关注架构迁移成本

Hacker News Show10/19模型新模型发布海外2 个独立信源2 条讨论

Qwen3-4B 去 AI 腔微调版开源,可在 MacBook Air 上运行

开发者 erikkannike 在 MacBook Air 上微调 Qwen3-4B-Instruct,发布 qwen3-4b-deslop,用 Ollama 一条命令即可运行,模型 2.5 GB。在 40 条训练未见过的提示上,AI 腔调检测分数从每千词 121 降到 12.5,68% 的回答落在人类写作区间,破折号从每千词 20.5 个降到 0。30 道事实题全部答对,体裁和长度符合率与原模型相当。训练仅用 161 条回答,作者称方法不依赖模型规模,下一步将用于更大模型。缺点是文风偏平,仍会编造人名地名。

推荐理由想本地跑一个不带 AI 腔的写作模型,2.5 GB 一条 Ollama 命令即可,破折号归零

MarkTechPost10/19模型产品发布/更新海外

NVIDIA 以 Apache 2.0 开源 Run:ai GPU 编排平台

NVIDIA 将完整的 Run:ai 平台以 Apache 2.0 协议在 GitHub 开源,平台团队可自行检查、fork 和自托管,无需付费订阅。代码为 monorepo,包含控制平面、集群服务、安装器、CLI 和 MCP server,本地构建约 50 个 Go 服务。拆分为 4 个可独立采用的组件:KAI Scheduler(CNCF Sandbox 项目,支持 gang 调度、公平份额、拓扑感知)、GPU Fractioning Operator(基于 CUDA 13.4 原生 GPU 切分,按工作负载强…

推荐理由自托管 GPU 调度可省订阅费,本地 8 卡模拟环境 16 GB 内存即可跑起来

Simon Willison10/19模型产品发布/更新海外

Simon Willison 发布 llm-echo 0.5,模拟 token 用量计入工具调用

Simon Willison 更新调试插件 llm-echo 至 0.5 版本。该插件提供一个不调用真实 LLM 的「模型」,只回显输入提示词,用于调试。新版模拟 token 用量时会计入工具调用、系统提示词和推理 token。示例中执行 llm -m echo 'hi there' -o thinking 1 --usage 后,输出显示 2 个输入 token、24 个输出 token。

推荐理由用 LLM 命令行工具调试 Agent 时,可以用它零成本验证 token 计费逻辑

MarkTechPost10/19模型产品发布/更新海外

TinyFish 推出免费搜索:AI Agent 读取网页的 token 成本实测

TinyFish 宣布在速率限制内免收检索费(Search 每分钟 30 次、每小时 500 次;Fetch 每分钟 150 个 URL、每天 1000 个)。在 2026 年 9 月 28 日的 Artificial Analysis 榜单上,TinyFish Search (web) 得分 71,每 1000 个任务 9.30 美元,单任务耗时 59 秒,是榜单 12 个配置中总成本最低的,但耗时第二长。文章指出,检索费之外,抓回内容进入模型上下文后仍按输入 token 计费:同一篇约 4300 字符的 Dai…

推荐理由做 Agent 抓网页的团队可以直接参考:同一篇文章不同抓取工具返回的 token 量差 36 倍

Techmeme10/19模型行业动态海外

英伟达要求三星、SK 海力士、美光用台积电 3nm 制程生产 NVHBM 基础裸片

据路透社报道,英伟达已要求三星、SK 海力士和美光为其定制 NVHBM 内存生产基础裸片,且需采用台积电 3nm 制程。三星已同意,这是三星首次使用台积电制程。原文正文信息有限,未披露时间表、订单规模与价格。

推荐理由HBM 供应链出现新分工:存储厂做基础裸片却要用台积电 3nm,三星首次跨厂投片,值得跟踪产能与成本变化

DEV Community · AI10/16模型技巧与观点海外

从自动化到自主:AI 系统六阶段架构设计

开发者 Aonica 在 DEV Community 发文,提出协调式智能系统的六阶段架构:数据 → AI 分析 → 决策逻辑 → 执行 → 监控 → 反馈,每个阶段职责分离。文章强调 AI 输出本身不可靠,生产架构必须考虑输入校验、权限、执行约束、可观测性和故障处理,AI 给出的建议不应在缺少额外检查时直接触发不可逆操作。文章还讨论了区块链与智能合约在提供可验证记录和规则执行上的互补作用,但指出链上记录无法保证外部数据源准确。Aonica 称正在探索 AI、区块链、智能合约与自动化的整合,但未给出具体产品或数据。

推荐理由六阶段职责拆分可直接对照检查自家 Agent 架构,重点在「分析」与「授权执行」必须分离。