#部署工程

全部资讯模型
清除条件
共 90 条 · 第 3/3 页
Hacker News Show09/29模型产品发布/更新海外

Jevstiller:把 Jev 蒸馏成本地模型,带一致性保证

Jevstiller 在 Jev 的 API 调用前加一层本地小模型:用 bge-small 编码器加一个逻辑回归头,在 CPU 上约 15 ms 返回结果,不确定的请求仍走 Jev。核心是契约:设定 98% 目标,系统与 Jev 的一致率 A = 1 − c·e(c 为本地覆盖率,e 为本地答错率),保证至少该比例请求得到与 Jev 相同的标签。模型几百 KB,几千行数据几秒训完,每 2000 条新答案重训一次,上线前做影子测试。原文信息有限,未给出具体基准数字。

推荐理由做 Agent 循环或高频分类的,可参考用 15 ms 本地模型替代 300 ms API 调用的路由与一致性保证方案。

TechCrunch AI09/29模型行业动态海外

Aurora 计划 2030 年部署 3 万辆无人卡车,股价当日跌 12%

自动驾驶公司 Aurora 上周向投资者表示,预计到 2030 年底将有超过 3 万辆无人驾驶卡车上路,年收入达 50 亿美元。而公司预计 2026 年底仅有 200 辆无人卡车,年化收入 8000 万美元。CFO David Maday 称,相比四大卡车厂商每年 25 万至 30 万辆的产量,3 万辆占比很小。投资者并不买账,9 月 23 日投资者日后股价持续下跌,周一收跌 12.42% 至 5.29 美元。Aurora 目前以运输即服务模式运营,计划限制在约 500 辆,向客户收取约每英里 2 美元。2027 …

推荐理由看自动驾驶卡车商业化路径:每英里 2 美元转 0.85 美元订阅费,2027 年 500 辆盈亏平衡是关键节点。

Hacker News · AI09/28模型产品发布/更新海外

Cloudflare 发布 cf CLI,覆盖 3000+ API 操作

Cloudflare 推出面向 Agent 的新命令行工具 cf,覆盖其全部 API 的 3000 多个操作,而旧工具 Wrangler 仅支持约 280 个。官方数据显示,2026 年 3 月 Agent 占 Wrangler 使用量的四分之一,上周已达 48%;Agent 每天使用的不同命令数约为人类两倍,使用 6 个以上命令的概率接近四倍。cf 默认输出 JSON,引入 cloudflare.config.ts 配置格式和 Vite 作为默认本地开发服务器,已开放全球公测,可通过 npm i -g cf 安装…

推荐理由用 npm i -g cf 就能让 Agent 调用 Cloudflare 全部 3000+ API

DEV Community · AI09/28模型技巧与观点海外

生产环境半数 AI Agent 只是带 GPU 账单的 if 语句

开发者指出,许多生产环境的 AI Agent 用 LLM 处理本可用正则、SQL 或决策树解决的问题。例如用 LLM 从邮件提取固定格式发票号(INV-加 8 位数字),准确率 98%,剩余 2% 会改写格式或误取采购单号,且每次调用有成本和延迟;正则方案确定、可测、近乎免费。类似地,用向量检索回答「某客户近 30 天未付订单」这类精确过滤问题,不如 SQL 完整可审计。作者称这种为「简历驱动」的 AI 工程,带来更慢、更贵、更难调试的技术债。

推荐理由三个具体反例加代码,可直接对照自查项目里哪些 LLM 调用该换成正则或 SQL。

MarkTechPost09/25模型论文研究海外

Perplexity 用真实失败会话训练电脑 Agent,工具调用失败率降 21.2%

Perplexity Research 发布后训练研究,在 Perplexity Computer 内用真实用户会话(含失败会话)训练模型,方法结合拒绝采样微调与提示引导自蒸馏。在线 A/B 测试中,两个训练检查点之间工具调用失败率从 2.24% 降至 1.77%,相对下降 21.2%,团队称具统计显著性。方法将每轮助手回复分为三类处理:成功会话中的非错误轮做模仿(交叉熵损失)、任意会话中带验证提示的错误轮做纠正(KL 散度损失)、其余轮仅保留为上下文不计算损失。纠正部分用 On-Policy Self-Disti…

推荐理由工具调用失败率 2.24%→1.77%,做 Agent 后训练可参考其「模仿/纠正/仅上下文」三分类思路

Hacker News Show09/25模型产品发布/更新海外

开源 Agent 自动优化 CUDA 内核,用 GPT-5-mini 迭代

开发者 bertaye 在 GitHub 开源 agentic-cuda-optimizer,用 LangGraph 驱动的 Agent 自动完成 CUDA 内核的代码生成、正确性校验、基准测试与迭代改进。Agent 可查询 GPU 属性、检索 NVIDIA 文档、读取 Nsight Compute 计数器来指导下一轮实验,同时修改内核代码和每个用例的启动配置。C++ harness 用 NVRTC 编译、CUDA Driver API 启动,Python 负责结果比对与候选筛选。排名取各性能用例延迟的几何平均,默…

推荐理由有 N 卡就能跑,把 CUDA 调优从手工试错变成自动迭代,附完整配置和运行命令

LangChain09/24模型产品发布/更新海外

LangChain 发布 Managed Deep Agents 0.8

LangChain 推出 Managed Deep Agents 0.8,新增四项能力:用户自有凭证、用户级记忆、HTTP channels,以及 Slack 文件传输,并内置由 Parallel 提供支持的网页搜索工具。该产品把 Deep Agents 框架与生产运行所需基础设施打包,项目以代码优先方式组织在仓库目录中,包含 instructions.md、identity、memory、tools、channels、middleware、schedules、connectors、skills、sandbox、e…

推荐理由想让 Agent 上生产又不想自己搭记忆、鉴权和 Slack 接入的团队,可看这份目录结构清单

The Verge AI09/24模型产品发布/更新海外

微软更新 12 英寸 Surface Pro 和 13 英寸 Surface Laptop,搭载骁龙 X2 Plus

微软为 12 英寸 Surface Pro 和 13 英寸 Surface Laptop 换上高通骁龙 X2 Plus 芯片,10 月 13 日开售。12 英寸 Surface Pro 起售价从去年的 799.99 美元涨至 1149.99 美元,13 英寸 Surface Laptop 从 899.99 美元涨至 1199.99 美元,涨价部分源于取消 8GB 基础版,起步内存改为 16GB,最高可选 24GB。微软称六核骁龙 X2 Plus 的 NPU 本地 AI 推理性能提升最高 95%,图形性能提升超 60…

推荐理由本地 AI 推理提速 95%、起售价涨 350 美元,想买 Windows AI PC 的可以先看这份价格与续航账。

DEV Community · AI09/24模型技巧与观点海外

实测对比 5 款 LLM 网关:LiteLLM、Kong、Portkey 等

作者对比了 LiteLLM、Kong AI Gateway、Portkey、Bifrost、Apache APISIX 五款 LLM 网关在生产环境下的表现,关注流量管理、延迟、供应商故障和运维控制。LLM 网关位于应用与模型供应商之间,集中处理路由、负载均衡、限流、重试、故障回退、鉴权、日志、token 统计、成本监控、缓存等。文章指出单供应商的简单应用未必需要网关,但多供应商或高流量场景下集中控制价值明显,例如主供应商返回 429 限流时可在网关层统一决定重试、等待还是切换。原文正文不完整,具体对比结论有限。

推荐理由选型前先看这 5 个候选:LiteLLM、Kong、Portkey、Bifrost、APISIX,覆盖路由与限流场景