#部署工程

全部资讯模型
清除条件
共 90 条 · 第 2/3 页
Ars Technica AI10/16模型产品发布/更新海外

微软 Surface Laptop Ultra 可本地跑 700 亿参数模型

微软 Surface Laptop Ultra 搭载 Nvidia RTX Spark 平台,Ars Technica 实测可运行 700 亿参数 AI 模型,并完成书籍和电影摘要、图像生成,同时能以较高帧率和画质运行 3A 游戏。微软将其定位为面向高性能用户的 MacBook Pro 竞品,主打一台机器兼顾游戏与开发。文章提到,2026 年第三季度全球 PC 出货量同比下降 20%,内存涨价推高消费级价格。

推荐理由想在笔记本上本地跑 70B 模型的人,可以看这台 ARM 机器的实测表现

The Verge AI10/16模型产品发布/更新海外

微软 Surface Laptop Ultra 评测:本地跑 AI 模型,但体验仍像半成品

微软与 Nvidia 合作推出 Surface Laptop Ultra,搭载 Arm 架构的 RTX Spark 芯片,可在本地运行 AI 模型和 3A 游戏,顶配售价 5900 美元。The Verge 评测指出,要充分发挥本地 AI 能力需要编程经验,或反复试验模型和 Agent;本地 AI 体验仍像 beta 版,声音和显示存在 bug,CPU 性能不及预期。硬件方面采用全铝机身、15 英寸 MicroLED 屏(峰值 2000 尼特、3270×2180、3:2 触控)、大尺寸触觉反馈触控板,以及可正反插的…

推荐理由想了解 Arm 版 Windows 本地跑 AI 的真实体验和 5900 美元定价是否值得,这篇评测给出了具体短板

vLLM10/16模型新模型发布海外

vLLM 首日支持 Reflection Beam 501B MoE 模型

vLLM 在发布当天即支持 Reflection 的 Beam 模型:501B 参数 MoE,每 token 激活 23B。在 NVIDIA Blackwell 上,由编码 Agent 自主优化后,batch-1 解码比初版快 2.71 倍,prefill 快 1.87 倍。配合 DFlash2 投机解码草稿模型,单请求在 TP8 上达到 708 tokens/s,接受长度 3.7;自适应验证在高并发下再提升 10% 吞吐。架构上,52 层解码器采用 DeepSeek-V3 式 MoE 路由,43 层为 512 t…

推荐理由想部署 501B 级开源 MoE 的团队可直接用官方 Docker 镜像

vLLM10/16模型产品发布/更新海外

Hyper Optimizing Kimi K3 in vLLM: Moving Fast and Responsibly

Kimi K3 decode performance on NVIDIA GB300. Coding agents can now help with some of the hardest parts of model optimization: writing complex GPU kernels, performing cross-operator fusions, overlapping computation with co…

推荐理由产品发布/更新类信息,来自 vLLM,建议按需查看原文。

MarkTechPost10/14模型产品雷达海外

2026 年 9 款 AI 网关评测:Bifrost、Portkey、LiteLLM 等排名

MarkTechPost 发布 2026 年 AI 网关评测,列出 9 款产品排名。Bifrost 以 Go 编写、Apache 2.0 协议、5000 RPS 下 11 µs 开销居首;Portkey 支持 1600+ 模型,已被 Palo Alto Networks 于 5 月 29 日收购;LiteLLM 有 53.8K GitHub stars、100+ 提供商,3 月遭遇 PyPI 供应链攻击。文章还提到 Mintlify 收购 Helicone 后后者进入维护模式,并给出性能、覆盖、治理、部署、成本、供…

推荐理由选网关可参考具体数字:Bifrost 11 µs 开销、Portkey 1600+ 模型

LangChain10/14模型技巧与观点海外

LangChain 发布 Deep Agents 上下文管理方案

LangChain 为开源 Agent 框架 Deep Agents SDK 引入上下文压缩机制,应对长任务超出模型上下文窗口的问题。方案包含三种技术:工具返回结果超过 20000 token 时转存文件系统,仅保留文件路径和前 10 行预览;当上下文达到模型窗口 85% 时,将旧的写入/编辑类工具调用参数转存为文件指针;空间仍不足时对消息历史做结构化摘要。SDK 通过 LangChain 的模型配置获取各模型的 token 阈值,按比例触发压缩。

推荐理由做长任务 Agent 的开发者可直接参考:20000 token 转存、85% 阈值这两个具体参数能照搬

The Verge AI10/13模型产品发布/更新海外

DLSS 5 下月首发《霍格沃茨之遗》,面部改动明显收敛

Nvidia 公布 DLSS 5 新对比截图,此前被批「AI 换脸」的面部改动已大幅收敛,青少年角色不再显老。DLSS 5 将于 11 月 5 日随《霍格沃茨之遗》正式上线,月底登陆《燕云十六声》。10 月更新把模型参数缩减 24% 至约 1.18 亿,4K 显存占用降 20%,在 RTX 50 系 GPU 上速度翻倍,新模型 10 月 16 日先在 NBA 2K27 首发并成为后续 DLSS 5 游戏默认版本。Nvidia app 测试版同步为 RTX 40/50 系帧生成加入性能模式,最高提速 35%,官方称画…

推荐理由RTX 40/50 系用户可等 10 月 app 更新,帧生成最高提速 35%,代价是轻微画质损失。

DEV Community · AI10/12模型产品发布/更新海外2 条讨论

五款 AI 网关对比:Bifrost、Cloudflare、Vercel、LiteLLM、OpenRouter

文章对比了 5 款 AI 网关:开源可自部署的 Bifrost(含路由、故障转移、治理、可观测性及 MCP/Agent 功能)、运行在 Cloudflare 边缘的 Cloudflare AI Gateway(支持跨供应商路由、分析、缓存、重试)、主打快速集成的托管方案 Vercel AI Gateway、Python 编写、提供 OpenAI 风格接口的 LiteLLM,以及托管 API 网关 OpenRouter。对比维度包括速度、供应商覆盖、可靠性、路由、日志追踪、成本限制和部署方式。原文未给出具体性能或价格…

推荐理由选网关前先看这张对比表,五个方案按自部署/边缘/托管分类,直接对号入座

Modal10/12模型产品发布/更新海外

Modal 推出 Endpoint Candidates,可灰度测试推理端点

Modal 发布 Endpoint Candidates 功能,允许为 Dedicated Endpoint 部署候选版本,镜像一部分生产流量做评估,再一键提升为生产。候选可选用 Modal 目录中的开源模型,或从 Hugging Face、Modal Volume 导入自有权重。生产端点继续处理全部原始请求并返回用户看到的响应,候选端点有独立 URL,可跑现有评测看输出质量,仪表盘可查看延迟、吞吐等指标并做压测。底层用基于 Pingora 的代理把请求流分叉到各候选的独立有界缓冲区,缓冲区满则取消该镜像请求,不影…

推荐理由做推理部署的团队可零成本灰度新模型:镜像生产流量对比延迟、吞吐和成本,满意再一键切换。

TechCrunch AI10/10模型行业动态海外

报告:电池储能成本已低于数据中心常用天然气涡轮机

Wood Mackenzie 报告显示,在其调查的 43 个市场、每个大洲,4 小时时长的电池储能成本都低于开式循环燃气轮机。AI 数据中心开发商抢购燃气轮机推高价格,开式循环机型交付周期已达 2 至 4 年,闭式循环排期排到 2030 年代初。报告预测电池电力成本将继续下降,燃气轮机发电成本则持续上升。中东和非洲到 2035 年 4 小时电池将便宜 33%,中国储能成本比邻国低 55%。太阳能仍是所有市场中最便宜的新增电源。

推荐理由做数据中心选址和能源采购的人可据此重新算账:电池已比燃气调峰机组便宜,中国储能成本低邻国 55%。

Hugging Face 博客10/09模型产品雷达海外

Ai2 用预算制替换优先级调度器管理 GPU 集群

Ai2 的 AI 基础设施团队管理数千块 NVIDIA H100、B200、B300 GPU,集群规模 88 到 1024 块,服务约 150 名内部研究员,GPU 需求长期是供给的 2-3 倍。团队用 GPU 时间预算、分层公平分配和时间切片合约替换了原有的优先级调度器。旧方案下出现 GPU「占坑」、优先级通胀(100% 工作负载都用 HIGH 优先级)以及工程师大量时间用于协商关闭不可抢占任务等问题。新方案把各研究项目该分多少 GPU 时间的争论从逐案运维操作转为透明的行政预算流程。

推荐理由管理多卡训练集群的团队可参考:需求是供给 2-3 倍时,优先级调度会失效,改用时间预算制

LangChain10/09模型产品发布/更新海外

Snyk 把内部支持 Agent 变成客户功能 Snyk Assist

Snyk 将原本服务内部支持团队的对话 Agent 转为面向所有付费客户的产品功能 Snyk Assist,2026 年 9 月上线。该 Agent 基于 LangChain 和 LangGraph 构建,用 LangSmith 做可观测性,能查询未解决问题、检查依赖包漏洞、在对话中开支持工单或提交功能请求。Snyk 支持团队每两周处理数千个工单,此前信息分散在文档、支持文章、发布说明和账户数据中。Snyk 先在内部测试,要求 Agent 回答正确、该拒绝时拒绝、不返回用户无权查看的内容,每次改动都通过 LangS…

推荐理由做企业级 Agent 的团队可参考其权限、状态、护栏和评测的落地路径

Hacker News Show10/09模型产品发布/更新海外

K10s:可点击的 Kubernetes 终端界面,内置 AI 助手

开发者发布 K10s,一个用 Go 和 Bubble Tea 编写的 Kubernetes TUI,支持鼠标点击操作,与 k9s 的纯键盘操作形成对比。主要特性:所有操作列在独立面板中可直接点击,ctrl+p 统一搜索资源类型和对象,启动时不注册任何 watch、按需懒加载 informer 以保证秒开;ctrl+a 可用自然语言提问,当前 context、namespace、类型和选中对象会自动注入提示词。内置离线 demo 后端(含 CrashLoopBackOff 示例),无需真实集群即可试用,demo 以独…

推荐理由想从 k9s 换到鼠标友好界面、或想给集群排障加个懂上下文的 AI 助手,可直接 go run . demo 零成本试用

MarkTechPost10/08模型产品发布/更新海外

Architect 推出 Liquid Inference,LLM 推理实时竞价路由

金融交易公司 Architect Financial Technologies 推出 Liquid Inference,一个对每次 LLM 请求进行实时拍卖的推理路由。供应商为指定模型报价,买家支付满足其规则的最低报价;开发者只需替换 base URL 即可接入。买家可设置单任务成本上限、首 token 时间、最低吞吐、区域、零数据保留和供应商白名单。前 500 名注册用户获 20 美元免费推理额度,推荐返佣 20%。支持 Claude Code、Codex、Cursor、Cline 等工具。

推荐理由做 Agent 或高频调用的开发者可换 base URL 接入竞价路由,前 500 名送 20 美元额度。

Ars Technica AI10/08模型产品发布/更新海外

微软发布 Surface Laptop Ultra,搭载英伟达 RTX Spark 芯片

微软在两年来的首场线下活动中发布新款 Surface Laptop Ultra,这是首款采用英伟达 RTX Spark SoC 的设备,起售价 2599 美元,10 月 16 日发货,现已开启预售。配置可选 5120 核或 6144 核 Blackwell GPU,最高 128GB LPDDR5x 统一内存。微软同时公布 Windows 11 的多项改动,并展示本地 AI 与智能体工作流如何改变个人计算。官方演示了《战争机器:E-Day》在该设备上运行,依靠统一内存分配而非传统显存上限,兼顾 3A 游戏与本地 AI…

推荐理由2599 美元起、128GB 统一内存,想在本地跑大模型的开发者可以盯一下这台机器

The Verge AI10/08模型产品发布/更新海外

微软 Surface Laptop Ultra 10 月 16 日发售,2599 美元起

微软公布 Surface Laptop Ultra 发售信息:10 月 16 日上市,基础配置 2599 美元,含 18 核 CPU、24GB 内存、512GB 存储。该机搭载 Nvidia 新 RTX Spark 芯片(Arm 架构,最高 128GB 统一内存),配 15 英寸 HDR 触控屏,峰值亮度 2000 尼特,支持触觉反馈的大触控板。顶配 5899.99 美元,含 128GB 内存、20 核 CPU、1TB 存储。微软与 Nvidia 将其定位为高端笔记本,面向创意软件、游戏和本地 AI 任务,直接对标…

推荐理由本地 AI 任务可上 128GB 统一内存,2599 美元起,关注端侧推理硬件的可以看

DEV Community · AI10/07模型技巧与观点海外

我把 AI Agent 的自动合并开到了生产环境,只开了一次

作者把代码生成、审查、测试、预发、合并全流程交给 AI Agent 闭环运行,约 9 天后一次自动合并导致付费客户在凌晨被锁在自己账号外。问题代码是一条写路径:先向客户端返回「已收到」再落库,重试在错误时刻命中时确认发出但写入丢失。作者指出该 bug 语法规范、类型和测试齐全,审查 Agent 没发现是因为它看起来像完成品而非 bug——测试只覆盖了这条代码本就正确的正常路径,预发环境也没人在错误毫秒重试。作者认为不该交出去的不是多数人猜的那一步,而是几乎所有人最先自动化的那一步。

推荐理由全自动合并闭环的真实翻车案例,附具体 bug 形态和「五道自动检查为何全过」的拆解

MIT Technology Review10/06模型行业动态海外

BasiGo 电动巴士车队在肯尼亚和卢旺达运营超 100 辆

BasiGo 成立于 2021 年,总部位于肯尼亚内罗毕,已组建超过 100 辆电动巴士的车队,在肯尼亚和卢旺达租赁给运营商使用,累计运送 1500 万人次乘客。车辆从中国进口、在肯尼亚组装,公司不自行制造。其模式为运营商支付比柴油巴士低 40% 的首付,再按日支付租赁费,并配套维护、保险和充电网络。BasiGo 是宁德时代在撒哈拉以南非洲的首家授权服务商。公司测算,在肯尼亚用一辆电动巴士替换柴油巴士,每年可减少 50 吨二氧化碳排放。

推荐理由了解非洲电动公交的 pay-as-you-drive 模式:首付低 40%、年减碳 50 吨,可对照国内出海方案。

The Verge AI10/05模型行业动态海外

苹果 M6 Mac Mini 降价 100 美元,售价 779.99 美元

苹果新款 M6 Mac Mini 在亚马逊降价至 779.99 美元,较 899 美元的起售价便宜约 120 美元,这是该机型首次降价。基础配置为 256GB 存储、16GB 内存、12 核 CPU 和 12 核 GPU。作为对比,Best Buy 近期补货的 M4 版 Mac Mini 售价 799 美元,处理器性能更弱、核心数更少。M6 芯片比 M4 快约 20%。

推荐理由想买 Mac Mini 的可以省 120 美元,779.99 美元比同存储的 M4 版还便宜 20 美元

TechCrunch AI10/05模型产品发布/更新海外

Lola Vision 推出编译器工具链,将 AI 模型部署时间从 200 小时压缩

美国华盛顿特区初创公司 Lola Vision Systems 正在开发将 AI 模型翻译成特定芯片指令的「编译器工具链」软件,并自研半导体芯片。创始人 Tayo Adesanya 称,在新硬件上手动部署 AI 模型仅开始测试就需约 200 小时,公司重建了这一软件层以自动化该流程。客户提供代码和模型(自研或开源),软件将其翻译成客户芯片可执行的指令。公司称已有 12 家企业客户签署购买意向书,1 家已签约,并与微电子人才项目 SCALE 合作。为尽早获得收入,公司将先在现有硬件上授权其软件。

推荐理由做边缘 AI 部署的团队可关注:200 小时的手动适配是真实痛点,软件授权模式意味着现有硬件也能用

OpenRouter 公告10/05模型产品发布/更新海外

OpenRouter 对比四家服务端代码执行工具

OpenRouter 发布文章,对比 OpenAI、Anthropic、Google 及自家 openrouter:shell / openrouter:bash 四种服务端代码执行方案。这类工具让模型在 API 请求内直接调用提供商沙箱运行命令,开发者无需自建容器。OpenRouter 的沙箱按账户和工作区隔离,默认关闭外网访问,限制单条命令的运行时长和输出大小,计费为每秒 0.0001 美元,新建或休眠容器最低按 30 秒计。两个工具均处于 beta 阶段。文章指出,需要自定义基础镜像、GPU 任务或数小时长会…

推荐理由选型前先看这张对比:OpenRouter 沙箱每秒 0.0001 美元、30 秒起计,且默认断网。

DEV Community · AI10/05模型产品发布/更新海外

Find My Thingy:基于 Gemma 3 4B 的本地文档问答助手

开发者发布开源项目 Find My Thingy,一个本地优先的个人记忆助手,用自然语言提问即可检索自己文档中的内容。支持导入 PDF、TXT、Markdown,经分块和嵌入后存入 ChromaDB,由 Ollama 运行的 Gemma 3 4B 基于检索到的段落生成带来源引用的回答。技术栈为 React + Vite + TypeScript 前端、Python FastAPI 后端、SQLite 数据库、Sentence Transformers(all-MiniLM-L6-v2)嵌入、PyMuPDF 处理 P…

推荐理由想自建本地 RAG 文档问答的开发者可直接参考其技术栈组合与分块、引用溯源的处理方式。

MarkTechPost10/04模型新模型发布海外

Aleph Alpha 发布 Kolibri:78.1B 开源中英德 MoE 模型

Aleph Alpha 发布 Kolibri,一个面向德语和英语的开源 MoE 模型,总参数 78.1B,每 token 仅激活 3.46B(4.4%)。支持 104 万 token 上下文,可按请求设置推理强度,Apache 2.0 许可发布于 Hugging Face。FP8 权重约 78GB,可在单张 B200、B300、H200 或 2 张 H100 SXM5 上通过 vLLM 部署。预训练用 768 张 B200 跑 20T token,另加 2T 以上德语数据。目标场景是公共管理、工业和航空航天等受监管…

推荐理由78GB 权重单卡可跑,德语 token 比 GPT-5 分词器少 11.2%,做德语场景可直接换

DEV Community · AI10/04模型产品发布/更新海外

开发者用 AI 工具检测 OpenTelemetry 废弃属性名

一位 OpenTelemetry 贡献者发现自己提交的代码中仍有两个已废弃的属性名(db.system 和 db.operation),于是构建了工具 Attrition。该工具读取埋点代码,将每个属性键、指标名、事件名和枚举值与 26 个版本规范中的 1563 个名称比对,报告废弃名称、适配 span 类型的替代名、废弃版本、单位变化及规范链接,并提供可安全自动化的补丁。演示应用无需登录即可试用。

推荐理由做可观测性的人可以用它扫出代码里悄悄失效的埋点名称,避免仪表盘和告警静默失配。

DEV Community · AI10/03模型产品发布/更新海外

XCP Studio:同一项目支持引导、专家、Agent 三种工作方式

开发者 Daniele Cangi 发布 XCP Studio,一个围绕 XCP 的 Windows 开发环境。其核心设计是让开发者、可视化界面和编码 Agent 操作同一份项目权威状态,而非三个独立版本。项目可通过 Guided、Expert、Agent 三种方式进入,但共享同一状态。Studio 覆盖从创建、验证、构建、Xbox 执行到结果检查的完整生命周期,编码 Agent 留在开发侧,Xbox 作为执行目标,通过 XCP 的项目与执行契约连接,而非给 Agent 无限制的主机访问权限。原文信息有限,具体功能…

推荐理由做 AI 编码 Agent 与真实执行环境闭环的人,可参考其「同一项目权威、三种入口」的设计思路。

MarkTechPost10/03模型产品发布/更新海外

Prime Intellect 推出 Prime Inference 推理服务

Prime Intellect 发布 Prime Inference,面向前沿开源模型提供无服务器端点和预留 GPU 容量两种服务模式。上线前内部日处理近 1 万亿 token,流量来自强化学习 rollout、合成数据生成、评测和长时间运行的编码 Agent。平台兼容 OpenAI SDK,接口地址为 api.pinference.ai/api/v1,支持跨数据中心自动故障转移。硬件当前为 NVIDIA Blackwell,Vera Rubin 即将支持。技术栈整合 Dynamo、vLLM、Mooncake 和 …

推荐理由兼容 OpenAI SDK,可直接替换 base_url 试用;GLM-5.3 端点速度在 OpenRouter 居前

MarkTechPost10/03模型产品发布/更新海外

NVIDIA 发布 64GB 版 DGX Spark 桌面 AI 主机

NVIDIA 联合 Acer、ASUS、Dell、Gigabyte、HP、MSI 推出 64GB 版 DGX Spark 桌面 AI 系统,搭载 GB10 Grace Blackwell 超级芯片,FP4 算力最高 1 petaFLOP,内存带宽 273 GB/s,可本地运行最高 100B 参数模型,定位 30–35B 级开源模型。两台 64GB 机型可通过 ConnectX-7 组集群,合计 128GB 内存。NVIDIA 称 2026 年初以来 token 消耗量增长 14 倍,自有硬件无按 token 计费。…

推荐理由想本地跑 30B 级开源模型和常驻 Agent 的开发者,可对比 64GB 与 128GB 版本再决定

X @MiniMax_AI10/02模型行业动态海外

MiniMax 将在纽约 AI Engineer 大会演讲

MiniMax 美国业务发展负责人 Morgan Suo 将于 2026 年 10 月 14 日在纽约 AI Engineer 大会发表演讲,主题为「更快的模型背后的隐藏成本」,内容涉及量化、投机解码和推理控制如何改变模型的成本、速度与质量,以及切换模型前需要检查的要点。时间为美东时间上午 10:40 至 10:58,地点在纽约时代广场喜来登酒店 McCarthy Room。原文未提供更多技术细节。

推荐理由做模型选型和推理部署的人可留意:量化、投机解码对成本与质量的实际影响

OpenRouter 公告10/02模型产品发布/更新海外

OpenRouter 推出模型路由器基准测试页

OpenRouter 上线 Model Router Benchmarks 页面,对多个模型路由器按质量、速度、成本三项打分,并列出最优性价比与最强智能的单模型作为对照基线。官方称将持续新增路由器并更新分数。文中举例:DeepSeek v4 Flash 与 GPT-6 Astra 相比,后者每 token 平均价格高 48 倍以上,在 Codex 中跑平均 10 到 49 轮会话贵 21 倍。路由器可在任务不同部分切换到低成本模型以省钱。官方同时指出路由的固有难点:切换模型会因重建输入缓存而变贵、仅凭 prompt…

推荐理由想知道 Auto Router 等模型路由到底省不省钱、值不值得用,这页有质量/速度/成本三项实测分数可对比。

OpenRouter 公告10/02模型技巧与观点海外

OpenRouter 发布客服机器人模型路由指南

OpenRouter 发布教程,介绍 cheap-first 模型路由:把常规客服问题交给小模型,只把困难或不确定的请求升级给强模型,以降低全量使用强模型的成本。文中给出三种应用侧模式:静态规则、分类器分流、带置信度阈值的答案检查,并对比了构建与维护成本。指南强调支持策略的验收检查应留在应用侧,模型 fallback 只处理请求错误;评估时需对比 cheap-first、cheap-only、stronger-only 三种方案在答案接受率、含废弃尝试的总成本、升级率和整轮延迟上的表现,只在评估显示能修复失败处才加…

推荐理由做客服 Agent 的可以直接抄这套路由方案,含三种模式的选型对比和四个评估指标

LangChain10/02模型技巧与观点海外

LangChain 在 Agent 内建模型路由,单线程成本降 64%

LangChain 为开源编码 Agent Open SWE 构建了模型路由,相比始终使用顶级前沿模型的基线,单线程中位成本下降 64%,质量无可测量变化。做法是先用 LangSmith 追踪数据给一周的交互线程按任务类型打标:新功能 22%、修 bug 17%、测试或空跑 16%;再结合成本与调用次数判断复杂度。LangChain 认为路由决策应放在 Agent harness 里而非通用网关,因为选模型需要 harness 已收集的领域与任务上下文。

推荐理由做 Agent 成本优化可直接照搬:路由放 harness 内、用 trace 打标分任务,实测省 64%

Hugging Face 博客10/01模型新模型发布海外

Allen AI 发布 Olmo-core 3,MoE 训练吞吐提升 2.7 倍

Allen AI 发布 Olmo-core 3,重写 MoE 训练系统,目标支持万亿参数规模。新框架从 FSDP 换成基于 DDP 的方案,把专家常驻 GPU、只路由数据,省去反复聚合权重。在 8 张 NVIDIA B300 上的初步测试中,470 亿参数 MoE 每 GPU 每秒处理 52000 token,旧实现为 19400,吞吐约 2.7 倍。另一项基准把专家池从 8 扩到 128、每 token 仍只选 4 个专家,激活参数约 3.2B 不变,总参数从 4.6B 增至 47B,吞吐下降不到 5%。同一套设…

推荐理由想自己训 MoE 的团队可以直接参考:专家池扩 16 倍吞吐只掉 5%,代码和报告都开源

Modal10/01模型产品发布/更新海外

Modal 正式发布 VM Sandboxes,已跑通 2000 万台虚拟机

Modal 宣布 VM Sandboxes 正式可用(GA),用户只需一个开关即可获得完整 Linux 虚拟机,保留原有 modal.Sandbox 的 API、modal.Images、亚秒级冷启动和 CPU/内存突发能力,并支持数十万并发 Sandbox。该功能基于 Rust 的 Cloud Hypervisor 自研运行时,叠加宿主机文件系统、镜像懒加载、内存突发和快照等多项改造。早期客户已累计启动超过 2000 万台 VM。Linear 的 Coding Sessions 已全部运行在 VM Sandbox…

推荐理由做 Agent 沙箱的团队可关注:完整 Linux VM + 亚秒冷启动,Linear 已全量上线

OpenRouter 公告10/01模型技巧与观点海外

OpenRouter 发布 Agent 模型成本与质量权衡框架

OpenRouter 提出基于置信度的升级路由方案:让模型用结构化输出给自己的答案打 0-1 分,高分请求留在便宜模型,低分请求转给更强模型。指南强调分数只是自评,不是校准概率,0.85 不代表 85% 正确率,应使用排序而非绝对值。阈值需用自己的流量数据设定:先跑一批请求,按分数分档统计错误率,在错误率上升处切分。上线后需记录分数分布、升级率和未升级答案的错误率,模型或流量变化时重新调参。

推荐理由做 Agent 路由的可以直接照搬五步流程,用结构化输出拿置信分,按自己流量的错误率分档定阈值

MarkTechPost09/30模型产品发布/更新海外

Perplexity 发布 Rust 检索引擎 Photon,p99 延迟从 800 ms 降至 65 ms

Perplexity 发布自研检索与排序引擎 Photon,用 Rust 编写,已接管全部生产流量,并支撑 Search API 新增的 Fast Search 模式。单次调用延迟 p50 为 160 ms、p95 为 230 ms,p99 从旧引擎约 800 ms 降至约 65 ms;服务机器减少约 20%,单文档存储量提升约 2.5 倍。旧引擎存在三大瓶颈:p99 约 800 ms、索引合并期 p99 升至约 1.2 s 持续 10 到 15 分钟、集群部署同步超过一周。Photon 以托管 API 形式提供,…

推荐理由做搜索或 RAG 的可以直接用:Fast 模式每 1000 次请求 1 美元,p99 只有 65 ms。

DEV Community · AI09/30模型技巧与观点海外

一个公开数据接口与 Agent 认证路径的差异,暴露了文档缺失

开发者 Pouya 克隆仓库并提交了项目首个外部 PR(#1,3 次提交,+25/-12,36.3 小时后合并)。他认为 Agent 查询 Sanity 数据集失败是因为模型猜测文档类型,于是把真实 schema 写进工具描述。作者实测其示例发现语法错误:`[0].{...}` 多了一个点,应为 `[0]{...}`。真正的问题在于:同一数据集,公开路由无需密钥即可查询 120 条文档,而 Agent 实际走的 Context MCP 端点需要组织 API token,且不接受项目 token,外部贡献者无法认证这…

推荐理由做 Agent 工具描述和 MCP 接入的人可以看:公开路由与认证路由的接口契约不同

OpenRouter 公告09/30模型技巧与观点海外

OpenRouter 发布 AI Agent 回归测试指南

OpenRouter 发布教程,讲 Agent 在 prompt、模型、工具定义或检索设置变化后如何做回归测试。核心做法:锁定一组固定用例,每次改动后重跑,并对照书面行为契约检查;每个用例带结构化断言(Agent 调了哪个工具、传了什么参数),有策略时还要检查硬性不变量。模型替换时只换模型,prompt、工具、用例、评判器和推理参数全部保持不变,并用具体模型 slug(如 anthropic/claude-fable-5.1)而非 ~author/family-latest 别名,避免模型在两次运行之间悄悄变化。先…

推荐理由做 Agent 的可以直接照搬:用具体模型 slug 锁版本,先看基线列再判断是否阻止发布

OpenRouter 公告09/30模型技巧与观点海外

OpenRouter 发布用生产流量构建黄金评测集指南

OpenRouter 发布教程,介绍如何从生产流量中构建 golden eval 数据集:由人工审核过的生产输入与预期输出配对组成,纳入 Git 版本管理,每次部署前运行。指南给出五步流程,并说明规模选择——约 10 条用于排查单个问题,100 至 1000 条用于完整回归集;强调覆盖失败模式比数量更重要,数据集、评分标准和基线需一起版本化,否则无法区分回归来自模型、提示词还是数据集变化。

推荐理由想给自家产品做回归测试的团队可直接照搬五步流程和 10/100/1000 条规模标准