Ars Technica AI10/16模型产品发布/更新海外微软 Surface Laptop Ultra 搭载 Nvidia RTX Spark 平台,Ars Technica 实测可运行 700 亿参数 AI 模型,并完成书籍和电影摘要、图像生成,同时能以较高帧率和画质运行 3A 游戏。微软将其定位为面向高性能用户的 MacBook Pro 竞品,主打一台机器兼顾游戏与开发。文章提到,2026 年第三季度全球 PC 出货量同比下降 20%,内存涨价推高消费级价格。
推荐理由想在笔记本上本地跑 70B 模型的人,可以看这台 ARM 机器的实测表现
The Verge AI10/16模型产品发布/更新海外微软与 Nvidia 合作推出 Surface Laptop Ultra,搭载 Arm 架构的 RTX Spark 芯片,可在本地运行 AI 模型和 3A 游戏,顶配售价 5900 美元。The Verge 评测指出,要充分发挥本地 AI 能力需要编程经验,或反复试验模型和 Agent;本地 AI 体验仍像 beta 版,声音和显示存在 bug,CPU 性能不及预期。硬件方面采用全铝机身、15 英寸 MicroLED 屏(峰值 2000 尼特、3270×2180、3:2 触控)、大尺寸触觉反馈触控板,以及可正反插的…
推荐理由想了解 Arm 版 Windows 本地跑 AI 的真实体验和 5900 美元定价是否值得,这篇评测给出了具体短板
vLLM10/16模型新模型发布海外vLLM 在发布当天即支持 Reflection 的 Beam 模型:501B 参数 MoE,每 token 激活 23B。在 NVIDIA Blackwell 上,由编码 Agent 自主优化后,batch-1 解码比初版快 2.71 倍,prefill 快 1.87 倍。配合 DFlash2 投机解码草稿模型,单请求在 TP8 上达到 708 tokens/s,接受长度 3.7;自适应验证在高并发下再提升 10% 吞吐。架构上,52 层解码器采用 DeepSeek-V3 式 MoE 路由,43 层为 512 t…
推荐理由想部署 501B 级开源 MoE 的团队可直接用官方 Docker 镜像
vLLM10/16模型产品发布/更新海外Inside the Kimi K3 optimization effort: understanding the bottlenecks and the decisions that made inference faster In this article AgentX: the workload and results Inside Kimi K3: experts, attention and recurrent state 1…
推荐理由产品发布/更新类信息,来自 vLLM,建议按需查看原文。
vLLM10/16模型产品发布/更新海外Kimi K3 decode performance on NVIDIA GB300. Coding agents can now help with some of the hardest parts of model optimization: writing complex GPU kernels, performing cross-operator fusions, overlapping computation with co…
推荐理由产品发布/更新类信息,来自 vLLM,建议按需查看原文。
vLLM10/15模型行业动态海外Traditionally, changing the number of GPUs in a vLLM service required adding or removing entire model replicas or restarting the engine with a different GPU count. As models grow larger, each replica needs more GPUs, so …
推荐理由行业动态类信息,来自 vLLM,建议按需查看原文。
MarkTechPost10/14模型产品雷达海外MarkTechPost 发布 2026 年 AI 网关评测,列出 9 款产品排名。Bifrost 以 Go 编写、Apache 2.0 协议、5000 RPS 下 11 µs 开销居首;Portkey 支持 1600+ 模型,已被 Palo Alto Networks 于 5 月 29 日收购;LiteLLM 有 53.8K GitHub stars、100+ 提供商,3 月遭遇 PyPI 供应链攻击。文章还提到 Mintlify 收购 Helicone 后后者进入维护模式,并给出性能、覆盖、治理、部署、成本、供…
推荐理由选网关可参考具体数字:Bifrost 11 µs 开销、Portkey 1600+ 模型
LangChain10/14模型技巧与观点海外LangChain 为开源 Agent 框架 Deep Agents SDK 引入上下文压缩机制,应对长任务超出模型上下文窗口的问题。方案包含三种技术:工具返回结果超过 20000 token 时转存文件系统,仅保留文件路径和前 10 行预览;当上下文达到模型窗口 85% 时,将旧的写入/编辑类工具调用参数转存为文件指针;空间仍不足时对消息历史做结构化摘要。SDK 通过 LangChain 的模型配置获取各模型的 token 阈值,按比例触发压缩。
推荐理由做长任务 Agent 的开发者可直接参考:20000 token 转存、85% 阈值这两个具体参数能照搬
The Verge AI10/13模型产品发布/更新海外Nvidia 公布 DLSS 5 新对比截图,此前被批「AI 换脸」的面部改动已大幅收敛,青少年角色不再显老。DLSS 5 将于 11 月 5 日随《霍格沃茨之遗》正式上线,月底登陆《燕云十六声》。10 月更新把模型参数缩减 24% 至约 1.18 亿,4K 显存占用降 20%,在 RTX 50 系 GPU 上速度翻倍,新模型 10 月 16 日先在 NBA 2K27 首发并成为后续 DLSS 5 游戏默认版本。Nvidia app 测试版同步为 RTX 40/50 系帧生成加入性能模式,最高提速 35%,官方称画…
推荐理由RTX 40/50 系用户可等 10 月 app 更新,帧生成最高提速 35%,代价是轻微画质损失。
DEV Community · AI10/12模型产品发布/更新海外2 条讨论文章对比了 5 款 AI 网关:开源可自部署的 Bifrost(含路由、故障转移、治理、可观测性及 MCP/Agent 功能)、运行在 Cloudflare 边缘的 Cloudflare AI Gateway(支持跨供应商路由、分析、缓存、重试)、主打快速集成的托管方案 Vercel AI Gateway、Python 编写、提供 OpenAI 风格接口的 LiteLLM,以及托管 API 网关 OpenRouter。对比维度包括速度、供应商覆盖、可靠性、路由、日志追踪、成本限制和部署方式。原文未给出具体性能或价格…
推荐理由选网关前先看这张对比表,五个方案按自部署/边缘/托管分类,直接对号入座
Modal10/12模型产品发布/更新海外Modal 发布 Endpoint Candidates 功能,允许为 Dedicated Endpoint 部署候选版本,镜像一部分生产流量做评估,再一键提升为生产。候选可选用 Modal 目录中的开源模型,或从 Hugging Face、Modal Volume 导入自有权重。生产端点继续处理全部原始请求并返回用户看到的响应,候选端点有独立 URL,可跑现有评测看输出质量,仪表盘可查看延迟、吞吐等指标并做压测。底层用基于 Pingora 的代理把请求流分叉到各候选的独立有界缓冲区,缓冲区满则取消该镜像请求,不影…
推荐理由做推理部署的团队可零成本灰度新模型:镜像生产流量对比延迟、吞吐和成本,满意再一键切换。
TechCrunch AI10/10模型行业动态海外Wood Mackenzie 报告显示,在其调查的 43 个市场、每个大洲,4 小时时长的电池储能成本都低于开式循环燃气轮机。AI 数据中心开发商抢购燃气轮机推高价格,开式循环机型交付周期已达 2 至 4 年,闭式循环排期排到 2030 年代初。报告预测电池电力成本将继续下降,燃气轮机发电成本则持续上升。中东和非洲到 2035 年 4 小时电池将便宜 33%,中国储能成本比邻国低 55%。太阳能仍是所有市场中最便宜的新增电源。
推荐理由做数据中心选址和能源采购的人可据此重新算账:电池已比燃气调峰机组便宜,中国储能成本低邻国 55%。
Hugging Face 博客10/09模型产品雷达海外Ai2 的 AI 基础设施团队管理数千块 NVIDIA H100、B200、B300 GPU,集群规模 88 到 1024 块,服务约 150 名内部研究员,GPU 需求长期是供给的 2-3 倍。团队用 GPU 时间预算、分层公平分配和时间切片合约替换了原有的优先级调度器。旧方案下出现 GPU「占坑」、优先级通胀(100% 工作负载都用 HIGH 优先级)以及工程师大量时间用于协商关闭不可抢占任务等问题。新方案把各研究项目该分多少 GPU 时间的争论从逐案运维操作转为透明的行政预算流程。
推荐理由管理多卡训练集群的团队可参考:需求是供给 2-3 倍时,优先级调度会失效,改用时间预算制
LangChain10/09模型产品发布/更新海外Snyk 将原本服务内部支持团队的对话 Agent 转为面向所有付费客户的产品功能 Snyk Assist,2026 年 9 月上线。该 Agent 基于 LangChain 和 LangGraph 构建,用 LangSmith 做可观测性,能查询未解决问题、检查依赖包漏洞、在对话中开支持工单或提交功能请求。Snyk 支持团队每两周处理数千个工单,此前信息分散在文档、支持文章、发布说明和账户数据中。Snyk 先在内部测试,要求 Agent 回答正确、该拒绝时拒绝、不返回用户无权查看的内容,每次改动都通过 LangS…
推荐理由做企业级 Agent 的团队可参考其权限、状态、护栏和评测的落地路径
Hacker News Show10/09模型产品发布/更新海外开发者发布 K10s,一个用 Go 和 Bubble Tea 编写的 Kubernetes TUI,支持鼠标点击操作,与 k9s 的纯键盘操作形成对比。主要特性:所有操作列在独立面板中可直接点击,ctrl+p 统一搜索资源类型和对象,启动时不注册任何 watch、按需懒加载 informer 以保证秒开;ctrl+a 可用自然语言提问,当前 context、namespace、类型和选中对象会自动注入提示词。内置离线 demo 后端(含 CrashLoopBackOff 示例),无需真实集群即可试用,demo 以独…
推荐理由想从 k9s 换到鼠标友好界面、或想给集群排障加个懂上下文的 AI 助手,可直接 go run . demo 零成本试用
MarkTechPost10/08模型产品发布/更新海外金融交易公司 Architect Financial Technologies 推出 Liquid Inference,一个对每次 LLM 请求进行实时拍卖的推理路由。供应商为指定模型报价,买家支付满足其规则的最低报价;开发者只需替换 base URL 即可接入。买家可设置单任务成本上限、首 token 时间、最低吞吐、区域、零数据保留和供应商白名单。前 500 名注册用户获 20 美元免费推理额度,推荐返佣 20%。支持 Claude Code、Codex、Cursor、Cline 等工具。
推荐理由做 Agent 或高频调用的开发者可换 base URL 接入竞价路由,前 500 名送 20 美元额度。
Ars Technica AI10/08模型产品发布/更新海外微软在两年来的首场线下活动中发布新款 Surface Laptop Ultra,这是首款采用英伟达 RTX Spark SoC 的设备,起售价 2599 美元,10 月 16 日发货,现已开启预售。配置可选 5120 核或 6144 核 Blackwell GPU,最高 128GB LPDDR5x 统一内存。微软同时公布 Windows 11 的多项改动,并展示本地 AI 与智能体工作流如何改变个人计算。官方演示了《战争机器:E-Day》在该设备上运行,依靠统一内存分配而非传统显存上限,兼顾 3A 游戏与本地 AI…
推荐理由2599 美元起、128GB 统一内存,想在本地跑大模型的开发者可以盯一下这台机器
The Verge AI10/08模型产品发布/更新海外微软公布 Surface Laptop Ultra 发售信息:10 月 16 日上市,基础配置 2599 美元,含 18 核 CPU、24GB 内存、512GB 存储。该机搭载 Nvidia 新 RTX Spark 芯片(Arm 架构,最高 128GB 统一内存),配 15 英寸 HDR 触控屏,峰值亮度 2000 尼特,支持触觉反馈的大触控板。顶配 5899.99 美元,含 128GB 内存、20 核 CPU、1TB 存储。微软与 Nvidia 将其定位为高端笔记本,面向创意软件、游戏和本地 AI 任务,直接对标…
推荐理由本地 AI 任务可上 128GB 统一内存,2599 美元起,关注端侧推理硬件的可以看
DEV Community · AI10/07模型技巧与观点海外作者把代码生成、审查、测试、预发、合并全流程交给 AI Agent 闭环运行,约 9 天后一次自动合并导致付费客户在凌晨被锁在自己账号外。问题代码是一条写路径:先向客户端返回「已收到」再落库,重试在错误时刻命中时确认发出但写入丢失。作者指出该 bug 语法规范、类型和测试齐全,审查 Agent 没发现是因为它看起来像完成品而非 bug——测试只覆盖了这条代码本就正确的正常路径,预发环境也没人在错误毫秒重试。作者认为不该交出去的不是多数人猜的那一步,而是几乎所有人最先自动化的那一步。
推荐理由全自动合并闭环的真实翻车案例,附具体 bug 形态和「五道自动检查为何全过」的拆解
MIT Technology Review10/06模型行业动态海外BasiGo 成立于 2021 年,总部位于肯尼亚内罗毕,已组建超过 100 辆电动巴士的车队,在肯尼亚和卢旺达租赁给运营商使用,累计运送 1500 万人次乘客。车辆从中国进口、在肯尼亚组装,公司不自行制造。其模式为运营商支付比柴油巴士低 40% 的首付,再按日支付租赁费,并配套维护、保险和充电网络。BasiGo 是宁德时代在撒哈拉以南非洲的首家授权服务商。公司测算,在肯尼亚用一辆电动巴士替换柴油巴士,每年可减少 50 吨二氧化碳排放。
推荐理由了解非洲电动公交的 pay-as-you-drive 模式:首付低 40%、年减碳 50 吨,可对照国内出海方案。
The Verge AI10/05模型行业动态海外苹果新款 M6 Mac Mini 在亚马逊降价至 779.99 美元,较 899 美元的起售价便宜约 120 美元,这是该机型首次降价。基础配置为 256GB 存储、16GB 内存、12 核 CPU 和 12 核 GPU。作为对比,Best Buy 近期补货的 M4 版 Mac Mini 售价 799 美元,处理器性能更弱、核心数更少。M6 芯片比 M4 快约 20%。
推荐理由想买 Mac Mini 的可以省 120 美元,779.99 美元比同存储的 M4 版还便宜 20 美元
TechCrunch AI10/05模型产品发布/更新海外美国华盛顿特区初创公司 Lola Vision Systems 正在开发将 AI 模型翻译成特定芯片指令的「编译器工具链」软件,并自研半导体芯片。创始人 Tayo Adesanya 称,在新硬件上手动部署 AI 模型仅开始测试就需约 200 小时,公司重建了这一软件层以自动化该流程。客户提供代码和模型(自研或开源),软件将其翻译成客户芯片可执行的指令。公司称已有 12 家企业客户签署购买意向书,1 家已签约,并与微电子人才项目 SCALE 合作。为尽早获得收入,公司将先在现有硬件上授权其软件。
推荐理由做边缘 AI 部署的团队可关注:200 小时的手动适配是真实痛点,软件授权模式意味着现有硬件也能用
OpenRouter 公告10/05模型产品发布/更新海外OpenRouter 发布文章,对比 OpenAI、Anthropic、Google 及自家 openrouter:shell / openrouter:bash 四种服务端代码执行方案。这类工具让模型在 API 请求内直接调用提供商沙箱运行命令,开发者无需自建容器。OpenRouter 的沙箱按账户和工作区隔离,默认关闭外网访问,限制单条命令的运行时长和输出大小,计费为每秒 0.0001 美元,新建或休眠容器最低按 30 秒计。两个工具均处于 beta 阶段。文章指出,需要自定义基础镜像、GPU 任务或数小时长会…
推荐理由选型前先看这张对比:OpenRouter 沙箱每秒 0.0001 美元、30 秒起计,且默认断网。
DEV Community · AI10/05模型产品发布/更新海外开发者发布开源项目 Find My Thingy,一个本地优先的个人记忆助手,用自然语言提问即可检索自己文档中的内容。支持导入 PDF、TXT、Markdown,经分块和嵌入后存入 ChromaDB,由 Ollama 运行的 Gemma 3 4B 基于检索到的段落生成带来源引用的回答。技术栈为 React + Vite + TypeScript 前端、Python FastAPI 后端、SQLite 数据库、Sentence Transformers(all-MiniLM-L6-v2)嵌入、PyMuPDF 处理 P…
推荐理由想自建本地 RAG 文档问答的开发者可直接参考其技术栈组合与分块、引用溯源的处理方式。
MarkTechPost10/04模型新模型发布海外Aleph Alpha 发布 Kolibri,一个面向德语和英语的开源 MoE 模型,总参数 78.1B,每 token 仅激活 3.46B(4.4%)。支持 104 万 token 上下文,可按请求设置推理强度,Apache 2.0 许可发布于 Hugging Face。FP8 权重约 78GB,可在单张 B200、B300、H200 或 2 张 H100 SXM5 上通过 vLLM 部署。预训练用 768 张 B200 跑 20T token,另加 2T 以上德语数据。目标场景是公共管理、工业和航空航天等受监管…
推荐理由78GB 权重单卡可跑,德语 token 比 GPT-5 分词器少 11.2%,做德语场景可直接换
DEV Community · AI10/04模型产品发布/更新海外一位 OpenTelemetry 贡献者发现自己提交的代码中仍有两个已废弃的属性名(db.system 和 db.operation),于是构建了工具 Attrition。该工具读取埋点代码,将每个属性键、指标名、事件名和枚举值与 26 个版本规范中的 1563 个名称比对,报告废弃名称、适配 span 类型的替代名、废弃版本、单位变化及规范链接,并提供可安全自动化的补丁。演示应用无需登录即可试用。
推荐理由做可观测性的人可以用它扫出代码里悄悄失效的埋点名称,避免仪表盘和告警静默失配。
DEV Community · AI10/03模型产品发布/更新海外开发者 Daniele Cangi 发布 XCP Studio,一个围绕 XCP 的 Windows 开发环境。其核心设计是让开发者、可视化界面和编码 Agent 操作同一份项目权威状态,而非三个独立版本。项目可通过 Guided、Expert、Agent 三种方式进入,但共享同一状态。Studio 覆盖从创建、验证、构建、Xbox 执行到结果检查的完整生命周期,编码 Agent 留在开发侧,Xbox 作为执行目标,通过 XCP 的项目与执行契约连接,而非给 Agent 无限制的主机访问权限。原文信息有限,具体功能…
推荐理由做 AI 编码 Agent 与真实执行环境闭环的人,可参考其「同一项目权威、三种入口」的设计思路。
MarkTechPost10/03模型产品发布/更新海外Prime Intellect 发布 Prime Inference,面向前沿开源模型提供无服务器端点和预留 GPU 容量两种服务模式。上线前内部日处理近 1 万亿 token,流量来自强化学习 rollout、合成数据生成、评测和长时间运行的编码 Agent。平台兼容 OpenAI SDK,接口地址为 api.pinference.ai/api/v1,支持跨数据中心自动故障转移。硬件当前为 NVIDIA Blackwell,Vera Rubin 即将支持。技术栈整合 Dynamo、vLLM、Mooncake 和 …
推荐理由兼容 OpenAI SDK,可直接替换 base_url 试用;GLM-5.3 端点速度在 OpenRouter 居前
MarkTechPost10/03模型产品发布/更新海外NVIDIA 联合 Acer、ASUS、Dell、Gigabyte、HP、MSI 推出 64GB 版 DGX Spark 桌面 AI 系统,搭载 GB10 Grace Blackwell 超级芯片,FP4 算力最高 1 petaFLOP,内存带宽 273 GB/s,可本地运行最高 100B 参数模型,定位 30–35B 级开源模型。两台 64GB 机型可通过 ConnectX-7 组集群,合计 128GB 内存。NVIDIA 称 2026 年初以来 token 消耗量增长 14 倍,自有硬件无按 token 计费。…
推荐理由想本地跑 30B 级开源模型和常驻 Agent 的开发者,可对比 64GB 与 128GB 版本再决定
X @MiniMax_AI10/02模型行业动态海外MiniMax 美国业务发展负责人 Morgan Suo 将于 2026 年 10 月 14 日在纽约 AI Engineer 大会发表演讲,主题为「更快的模型背后的隐藏成本」,内容涉及量化、投机解码和推理控制如何改变模型的成本、速度与质量,以及切换模型前需要检查的要点。时间为美东时间上午 10:40 至 10:58,地点在纽约时代广场喜来登酒店 McCarthy Room。原文未提供更多技术细节。
推荐理由做模型选型和推理部署的人可留意:量化、投机解码对成本与质量的实际影响
OpenRouter 公告10/02模型产品发布/更新海外OpenRouter 上线 Model Router Benchmarks 页面,对多个模型路由器按质量、速度、成本三项打分,并列出最优性价比与最强智能的单模型作为对照基线。官方称将持续新增路由器并更新分数。文中举例:DeepSeek v4 Flash 与 GPT-6 Astra 相比,后者每 token 平均价格高 48 倍以上,在 Codex 中跑平均 10 到 49 轮会话贵 21 倍。路由器可在任务不同部分切换到低成本模型以省钱。官方同时指出路由的固有难点:切换模型会因重建输入缓存而变贵、仅凭 prompt…
推荐理由想知道 Auto Router 等模型路由到底省不省钱、值不值得用,这页有质量/速度/成本三项实测分数可对比。
OpenRouter 公告10/02模型技巧与观点海外OpenRouter 发布教程,介绍 cheap-first 模型路由:把常规客服问题交给小模型,只把困难或不确定的请求升级给强模型,以降低全量使用强模型的成本。文中给出三种应用侧模式:静态规则、分类器分流、带置信度阈值的答案检查,并对比了构建与维护成本。指南强调支持策略的验收检查应留在应用侧,模型 fallback 只处理请求错误;评估时需对比 cheap-first、cheap-only、stronger-only 三种方案在答案接受率、含废弃尝试的总成本、升级率和整轮延迟上的表现,只在评估显示能修复失败处才加…
推荐理由做客服 Agent 的可以直接抄这套路由方案,含三种模式的选型对比和四个评估指标
LangChain10/02模型技巧与观点海外LangChain 为开源编码 Agent Open SWE 构建了模型路由,相比始终使用顶级前沿模型的基线,单线程中位成本下降 64%,质量无可测量变化。做法是先用 LangSmith 追踪数据给一周的交互线程按任务类型打标:新功能 22%、修 bug 17%、测试或空跑 16%;再结合成本与调用次数判断复杂度。LangChain 认为路由决策应放在 Agent harness 里而非通用网关,因为选模型需要 harness 已收集的领域与任务上下文。
推荐理由做 Agent 成本优化可直接照搬:路由放 harness 内、用 trace 打标分任务,实测省 64%
Hugging Face 博客10/01模型新模型发布海外Allen AI 发布 Olmo-core 3,重写 MoE 训练系统,目标支持万亿参数规模。新框架从 FSDP 换成基于 DDP 的方案,把专家常驻 GPU、只路由数据,省去反复聚合权重。在 8 张 NVIDIA B300 上的初步测试中,470 亿参数 MoE 每 GPU 每秒处理 52000 token,旧实现为 19400,吞吐约 2.7 倍。另一项基准把专家池从 8 扩到 128、每 token 仍只选 4 个专家,激活参数约 3.2B 不变,总参数从 4.6B 增至 47B,吞吐下降不到 5%。同一套设…
推荐理由想自己训 MoE 的团队可以直接参考:专家池扩 16 倍吞吐只掉 5%,代码和报告都开源
Modal10/01模型产品发布/更新海外Modal 宣布 VM Sandboxes 正式可用(GA),用户只需一个开关即可获得完整 Linux 虚拟机,保留原有 modal.Sandbox 的 API、modal.Images、亚秒级冷启动和 CPU/内存突发能力,并支持数十万并发 Sandbox。该功能基于 Rust 的 Cloud Hypervisor 自研运行时,叠加宿主机文件系统、镜像懒加载、内存突发和快照等多项改造。早期客户已累计启动超过 2000 万台 VM。Linear 的 Coding Sessions 已全部运行在 VM Sandbox…
推荐理由做 Agent 沙箱的团队可关注:完整 Linux VM + 亚秒冷启动,Linear 已全量上线
OpenRouter 公告10/01模型技巧与观点海外OpenRouter 提出基于置信度的升级路由方案:让模型用结构化输出给自己的答案打 0-1 分,高分请求留在便宜模型,低分请求转给更强模型。指南强调分数只是自评,不是校准概率,0.85 不代表 85% 正确率,应使用排序而非绝对值。阈值需用自己的流量数据设定:先跑一批请求,按分数分档统计错误率,在错误率上升处切分。上线后需记录分数分布、升级率和未升级答案的错误率,模型或流量变化时重新调参。
推荐理由做 Agent 路由的可以直接照搬五步流程,用结构化输出拿置信分,按自己流量的错误率分档定阈值
MarkTechPost09/30模型产品发布/更新海外Perplexity 发布自研检索与排序引擎 Photon,用 Rust 编写,已接管全部生产流量,并支撑 Search API 新增的 Fast Search 模式。单次调用延迟 p50 为 160 ms、p95 为 230 ms,p99 从旧引擎约 800 ms 降至约 65 ms;服务机器减少约 20%,单文档存储量提升约 2.5 倍。旧引擎存在三大瓶颈:p99 约 800 ms、索引合并期 p99 升至约 1.2 s 持续 10 到 15 分钟、集群部署同步超过一周。Photon 以托管 API 形式提供,…
推荐理由做搜索或 RAG 的可以直接用:Fast 模式每 1000 次请求 1 美元,p99 只有 65 ms。
DEV Community · AI09/30模型技巧与观点海外开发者 Pouya 克隆仓库并提交了项目首个外部 PR(#1,3 次提交,+25/-12,36.3 小时后合并)。他认为 Agent 查询 Sanity 数据集失败是因为模型猜测文档类型,于是把真实 schema 写进工具描述。作者实测其示例发现语法错误:`[0].{...}` 多了一个点,应为 `[0]{...}`。真正的问题在于:同一数据集,公开路由无需密钥即可查询 120 条文档,而 Agent 实际走的 Context MCP 端点需要组织 API token,且不接受项目 token,外部贡献者无法认证这…
推荐理由做 Agent 工具描述和 MCP 接入的人可以看:公开路由与认证路由的接口契约不同
OpenRouter 公告09/30模型技巧与观点海外OpenRouter 发布教程,讲 Agent 在 prompt、模型、工具定义或检索设置变化后如何做回归测试。核心做法:锁定一组固定用例,每次改动后重跑,并对照书面行为契约检查;每个用例带结构化断言(Agent 调了哪个工具、传了什么参数),有策略时还要检查硬性不变量。模型替换时只换模型,prompt、工具、用例、评判器和推理参数全部保持不变,并用具体模型 slug(如 anthropic/claude-fable-5.1)而非 ~author/family-latest 别名,避免模型在两次运行之间悄悄变化。先…
推荐理由做 Agent 的可以直接照搬:用具体模型 slug 锁版本,先看基线列再判断是否阻止发布
OpenRouter 公告09/30模型技巧与观点海外OpenRouter 发布教程,介绍如何从生产流量中构建 golden eval 数据集:由人工审核过的生产输入与预期输出配对组成,纳入 Git 版本管理,每次部署前运行。指南给出五步流程,并说明规模选择——约 10 条用于排查单个问题,100 至 1000 条用于完整回归集;强调覆盖失败模式比数量更重要,数据集、评分标准和基线需一起版本化,否则无法区分回归来自模型、提示词还是数据集变化。
推荐理由想给自家产品做回归测试的团队可直接照搬五步流程和 10/100/1000 条规模标准