#部署工程

全部资讯模型
清除条件
共 202 条 · 第 1/6 页
TechCrunch AI15 小时前资讯行业动态海外

亚马逊 2026 年资本支出约 2200 亿美元,AWS 目标万亿营收

亚马逊 CEO Andy Jassy 在财报电话会上表示,2026 年现金资本支出约 2200 亿美元,大部分投向 AWS,2027 年还会明显增加。AWS 当前年化营收规模为 1840 亿美元,本季同比增长 39%,已连续六个季度稳步增长。Jassy 预计 2027 和 2028 年增速都将超过 40%,并在未来 5 到 10 年成为万亿美元营收业务。投资者对巨额支出仍有顾虑,盘后股价下跌约 6%。

推荐理由看清单季 2200 亿美元资本支出与 AWS 40% 增速预期,判断 AI 云基建投入是否过热

The Verge AI15 小时前资讯行业动态海外

Intel 称低价笔记本芯片 Wildcat Lake 已售罄

Intel CEO 陈立武在财报电话会上表示,面向低价笔记本的 Wildcat Lake 芯片需求超过供应,CFO David Zinsner 确认该芯片已售罄。Zinsner 称 Wildcat Lake 增长显著,其成本优化正好赶上 PC 涨价潮。近几个月 RAM 等零部件短缺推高 PC 价格,Wildcat Lake 被用于戴尔 XPS 13、惠普 Omnibook 5 14 等低价 Windows 笔记本,起价友好但常只配 8GB 内存。Intel 预计内存短缺明年不会改善,2027 年也不乐观,比 SK …

推荐理由做 PC 采购或硬件生意的人可留意:低价本芯片已断供,8GB 内存机型会更多,明年内存价格难降。

TechCrunch AI17 小时前资讯行业动态海外2 个独立信源

亚马逊 Q3 财报:AWS 收入增长 39%,全年 AI 资本支出约 2200 亿美元

亚马逊第三季度净销售额同比增长 12% 至 2019 亿美元,略低于分析师预期的 2022 亿美元;每股收益 1.89 美元,低于预期的 1.97 美元。AWS 收入 459.8 亿美元,超过预期的 452.9 亿美元,同比增长 39%,营业利润从去年同期的 114 亿美元增至 178 亿美元。过去 12 个月自由现金流为负 424 亿美元,去年同期为正 148 亿美元。公司称支出主要来自 AI 投资,重申 2026 年现金资本支出约 2200 亿美元,并预计第四季度净销售额为 2400 亿至 2470 亿美元。

推荐理由AWS 增速 39%、全年 AI 资本支出 2200 亿美元,是判断云与 AI 算力投入规模的关键数字。

MarkTechPost20 小时前模型新模型发布海外

Prime Intellect 发布 Prime Mega MoE:前向快 3.11 倍

Prime Intellect 在 DeepSeek 开源 DeepGEMM 库的 Mega MoE 内核基础上补上了反向传播实现,使其可用于训练而非仅推理。在 Qwen3-30B-A3B 和 Qwen3-235B-A22B 上测试,完整训练步比 prime-rl 基线快 32% 到 34%,比 TorchTitan 快 48% 到 55%;单层前向最快提升 3.11 倍(12.0 ms 降至 3.9 ms),反向最差也有 1.24 倍。支持 Hopper 的 blockwise FP8 与 Blackwell 的…

推荐理由训练 MoE 可直接省 30% 以上 GPU 小时,代码在 prime-rl 里能换

Techmeme23 小时前资讯行业动态海外

Situational Awareness 拉客户跟投 Fluidstack,估值升至 400 亿美元

据 Bloomberg 报道,Situational Awareness 正在向客户推介,让他们与自己一同投资 AI 云服务商 Fluidstack。本轮融资对 Fluidstack 的估值为 400 亿美元,而 9 月时的估值还是 180 亿美元,一个月内翻了一倍多。原文信息有限,未披露融资金额、参投方和资金用途。

推荐理由一个月估值从 180 亿涨到 400 亿美元,可用来判断 AI 算力云这轮泡沫有多大

Hacker News · AI23 小时前资讯产品发布/更新海外

Simantic 推出固件仿真层,让 AI Agent 无硬件测试固件

YC F26 项目 Simantic 在 Hacker News 发布,创始人 Ahnaf 和 Seungmin 均为前 Neuralink、Tesla 固件工程师,曾参与 Cybertruck 和 Roadster 早期原型开发。产品是一个仿真层,让工程师和 AI Agent 在没有硬件的情况下测试和验证固件。原文正文在此处截断,具体技术方案、定价和可用状态信息有限。

推荐理由做嵌入式或 Agent 落地的可以看看:无硬件验证固件是 Agent 进入硬件领域的卡点。

The Verge AI1 天前模型产品发布/更新海外

149 美元的电子蜡烛用 AI 模拟烛火闪烁

Arduboy 创始人 Kevin Bates 推出 Digital Candle:10 英寸高,顶部 144 颗琥珀色 LED 排成 9×16 网格,由乐鑫 ESP32-S3 芯片运行一个在真实烛火视频上训练的小型神经网络,实时生成不重复的火焰动画,而非循环播放预设动画。产品售价 149 美元,需 USB-C 供电,不含电池,提供黑白两种电路板配色。产品开源,可改作时钟、通知屏或运行康威生命游戏。

推荐理由149 美元买一块开源 ESP32-S3 LED 板,可拆开改造成时钟或通知屏

vLLM1 天前模型新模型发布海外

vLLM 首日支持 Mistral Large 4:1T 参数 MoE 多模态模型

vLLM 宣布在发布当天支持 Mistral Large 4。这是 Mistral 的新一代 MoE 原生多模态模型,总参数 1 万亿,每 token 激活 49B(含嵌入和输出层为 52B)。架构为 72 层 MoE、128 个路由专家(top-4)加 1 个共享专家,采用 MLA 加 DSA 稀疏索引器(每 query 选 top 2048 个 key),并带有 Pixtral 视觉编码器和内置 DSpark 推测解码草稿器。提供 FP8 与 NVFP4 两种 checkpoint,默认使用 FP8 潜在 KV…

推荐理由想自己部署 1T 级开源多模态模型的人,可以直接用官方 Docker 镜像和现成启动命令,在 8 卡上运行 FP8

The Verge AI1 天前模型行业动态海外2 个独立信源

苹果触屏 MacBook Pro 顶配售价 14549 美元

苹果新款触屏 MacBook Pro 的顶配价格达到 14549 美元,比上一代顶配贵 4400 美元。14 英寸和 16 英寸起售价分别为 2899 美元和 3399 美元。顶配包含 M5 Max 芯片(18 核 CPU、40 核 GPU)、纳米纹理玻璃、128GB 内存(加价 2000 美元)和 16TB 存储。16TB 存储选配单项加价 7000 美元,是涨价主因,原文提到这与当前内存短缺有关。若只选 8TB 存储(加价 3000 美元),顶配为 10549 美元,比上代贵 400 美元。

推荐理由想买顶配的人先看这个数字:16TB 存储单项加价 7000 美元,选 8TB 能省 4000 美元。

LangChain1 天前资讯技巧与观点海外2 个独立信源

LangChain:Managed Deep Agents 超 70% 运行来自定时任务

LangChain 发文介绍在 Managed Deep Agents 中用 Schedules SDK 构建主动型常驻 Agent。文中称,LangSmith 上超过 70% 的 Managed Deep Agent 运行来自定时调度,而非人工发消息。文章把这类 Agent 的能力归为三类:记忆(用 cron 定期把历史对话压缩成长期记忆,即“dreaming”)、主动性(按小时级频率提示 Agent 推进目标并主动发消息)、智能分诊(定时监控 Slack、邮件等信息源并推送相关内容)。文中还提到 Muse、In…

推荐理由70% 的运行靠定时任务,做常驻 Agent 可直接照搬 cron 加记忆压缩这套结构

Techmeme2 天前资讯行业动态海外

日经:AI 需求挤占产能,PCB 与芯片基板成消费电子供应瓶颈

据日经亚洲报道,业内人士称 PCB(印制电路板)和芯片基板正成为消费电子厂商的关键供应约束,原因是 AI 需求持续占用产能。惠普、戴尔等 PC 厂商高管在规划 2027 年供应需求时,已把这类原本普通的元器件列为关注点。原文信息有限,未披露具体产能缺口或涨价幅度。

推荐理由做硬件、供应链或 PC 相关业务的人可提前留意 2027 年 PCB 与基板的交期风险。

Techmeme2 天前资讯行业动态海外

长鑫存储拟量产 HBM3E,良率仅 20%-30%

据路透社援引消息人士报道,中国长鑫存储(CXMT)计划启动 HBM3E 高带宽内存芯片的量产,但当前良率只有 20% 至 30%。其 HBM3E 的性能接近 SK 海力士上一代 HBM3 芯片的水平。HBM3E 是配合 AI 处理器使用的高带宽内存。原文信息有限,未披露量产时间表和产能规模。

推荐理由国产 HBM 良率仅 20%-30%,性能落后一代,可据此判断国产 AI 芯片内存供应的真实进度

OpenRouter 公告2 天前模型技巧与观点海外

OpenRouter 发布 Claude 529 过载错误处理指南

OpenRouter 发布教程,解释 Anthropic API 返回的 529 overloaded_error 表示该模型在所有用户范围内容量不足,与调用方的密钥、套餐和请求本身无关,通常几秒后重试即可通过。文中区分了 529 与 429:429 是调用方自身用量或额度超限,529 不计入配额。建议先用带随机抖动的指数退避重试(Anthropic SDK 和 Claude Code 已内置),过载持续时把同一模型请求转发给其他提供商;在 OpenRouter 上 Claude Sonnet、Opus、Haiku…

推荐理由遇到 529 时可直接照做的退避重试与多提供商故障转移方案,含可运行代码

TechCrunch AI2 天前资讯行业动态海外

TechCrunch 座谈:数据中心用电激增或推动美国电网升级

在 TechCrunch Disrupt 座谈会上,WeaveGrid CEO Apoorv Bhargava、Veir CEO Tim Heidel 与 Rewiring America 政策副总裁 Kristin Eberhard 讨论了 AI 数据中心带来的电力需求激增。Bhargava 表示,电网正面临可再生能源、电动车、数据中心和热泵带来的大量新变量,公用事业公司需要具备管理和调度能力;WeaveGrid 的软件帮助机构高效部署能源并优化接入,以降低电费。Veir 销售超导输电线,称其输电距离是传统电缆的…

推荐理由了解 AI 数据中心电力瓶颈的具体技术解法:超导线路 5 倍输电距离、20 倍省空间,以及 1.1 亿美元融资去向。

Hacker News · AI2 天前模型产品发布/更新海外

Survival LLM:断网也能用的本地 AI 应急助手

开发者推出开源项目 Survival LLM,AI 模型和资料库全部运行在本地电脑上,断网后仍可使用,提问内容不会离开本机。内置资料包括医疗参考、FEMA 与 CDC 指南、生存手册、维修指南和约 93 万篇维基百科文章,每条回答都会列出所引用的文章,并高亮其中的具体段落。应用会根据电脑内存自动选择模型:128 GB 以上的 Mac 使用 NVIDIA Nemotron 3.5 Super(80 GB),32–96 GB 的 Mac 使用 Qwen3.8 27B(18 GB),32 GB 以上的 Windows P…

推荐理由断网应急场景可直接用,按内存选模型有明确对照表,Granite 版仅 6 GB 下载

DEV Community · AI3 天前模型技巧与观点海外

5 个开源 LLM 网关对比:Bifrost、Kong、LiteLLM 等

DEV Community 发布了一篇对比文章,梳理 5 个开源 LLM 网关:Bifrost(独立 Go 网关,支持模型、MCP 和 Agent 流量控制)、Kong AI Gateway(在 Kong Gateway 内提供 AI 能力)、Agent Router(基于 Envoy Gateway 和 Kubernetes)、Apache APISIX(通用 API 网关加 AI 插件)、LiteLLM(专注模型路由)。文章提醒开源不等于全部功能免费或可自托管,采用前需核对许可证和功能边界,并给出选型维度:供应…

推荐理由选 LLM 网关前先看这张对比表,能省掉逐个查许可证和功能边界的时间

TechCrunch AI3 天前资讯行业动态海外

General Compute 完成 1 亿美元 A 轮融资,估值 8 亿美元

AI 算力云服务商 General Compute 完成 1 亿美元 A 轮融资,由 Blackbird Ventures 和 Abstract Ventures 领投,投后估值 8 亿美元,而 5 月种子轮后估值仅 6000 万美元。公司专做基于 Nvidia 竞争对手推理芯片的云服务,与 SambaNova 签下 4 亿美元芯片采购协议,并将 Positron、Cerebras 纳入供应商。一笔年经常性收入 1 亿美元的大客户订单为融资铺路。CEO Finn Puklowski 预计 2027 年部署 75 兆…

推荐理由在 CoreWeave 股价跌至 12 个月低点、Musk 唱衰 neocloud 时

The Verge AI3 天前模型行业动态海外2 个独立信源

Anduril 与高通合作推出美国造笔记本 BlueChip

Anduril 与高通宣布合作推出笔记本品牌 BlueChip,2027 年初上市,首款产品是面向美国军方的加固机型,采用 Arm 架构的 Snapdragon X 系列芯片,在 Anduril 俄亥俄州 Arsenal-1 工厂组装。首批产品仅做到「设计与组装于美国」,并非整机国产;CEO Palmer Luckey 称美国产零部件比例「待定」,首批大概率达不到联邦采购 65% 的国产门槛。高通 CEO Amon 表示处理器计划在台积电亚利桑那厂生产,投资额未披露。项目由两家公司自筹资金,未获政府补贴。

推荐理由看清「美国制造」标签的实际成色:首批仅组装在美,国产比例未定,芯片靠台积电亚利桑那厂。

TechCrunch AI3 天前资讯行业动态海外

英伟达投资印度公司 Simplismart,帮企业用更少 GPU 跑模型

英伟达参与印度初创公司 Simplismart 的 1400 万美元 B 轮融资,本轮由 Dallas Venture Capital 领投,Accel、Shastra VC、Micromax 跟投,公司估值约 1 亿美元。Simplismart 的软件位于 AI 模型与算力基础设施之间,自动调整模型的响应速度、并发量和算力消耗,支持在自有平台或客户已有的云和本地环境中部署、微调、弹性扩缩容和监控。公司称帮助 AI 视频平台 InVideo 将 GPU 服务成本降低 56%,客户还包括 HeyGen、Higgsfi…

推荐理由GPU 成本降 56% 的具体案例,做推理部署和成本优化的团队可以直接参考

MIT Technology Review3 天前资讯行业动态海外

固态变压器能否撑起 AI 用电需求

MIT Technology Review 报道,传统变压器设计约百年未变、供应紧张,而电动车和数据中心用电需求快速上升。固态变压器用磁性元件加高功率半导体替代大量特种钢和铜线,体积更小、对电流控制更精细,目前仍在研发中,尚无法替代远距离输电所需的最大型号高压变压器。文章以美国太阳能电站为例说明电网升降压流程:逆变器把直流电转为约 480 伏交流电,升压到 115000 伏输电,再降到 120 伏和 240 伏入户。

推荐理由想了解 AI 数据中心电力瓶颈的读者,可看清变压器这一被忽视的电网卡点。

Hacker News Show3 天前资讯产品发布/更新海外

Wraps:开源自托管邮件层,监控 AWS SES 退信率

Wraps 是一个开源的 Amazon SES 运营层,部署在用户自己的 AWS 账号内。它通过 EventBridge、Lambda、DynamoDB 捕获退信和投诉事件,每小时读取 SES 的退信率与投诉率,对照 AWS 的 5% 退信审查线和 10% 暂停发送线,接近阈值时通知账号管理员,到达暂停线时暂缓定时群发。审计功能一次检查 DKIM、SPF、DMARC、MX、TLS、BIMI 和 50 多个公共黑名单。Wraps 不存储任何 AWS 凭证,只通过可撤销的角色读取数据,并支持在安装前用 wraps em…

推荐理由自建 SES 发信的人可以用它提前收到退信率告警,避免账号被 AWS 暂停发送

Techmeme4 天前资讯行业动态海外2 个独立信源

Jane Street 等高频交易公司斥巨资投入 AI 算力

据 Bloomberg 报道,Jane Street、Hudson River Trading 等高频交易公司正竞相争夺 AI 算力。一位高管估计,当前算力支出是 ChatGPT 发布前的 10 到 20 倍。Jane Street 在得州运营的数据中心配备超过 4000 块 Nvidia GPU,并向 CoreWeave 直接投资 10 亿美元、承诺采购 60 亿美元算力服务。Hudson River 每年在 AI 上花费 10 亿美元,并与 CoreWeave 签署多年协议。Jane Street 还领投了芯片…

推荐理由看高频交易公司如何用 10 亿美元级投入换取算力优势,以及 CoreWeave、Etched 这类供应商的客户结构

MarkTechPost5 天前模型技巧与观点海外

教程:用 llama.cpp 跑 2-bit 量化的 Saluki 27B 工具调用

MarkTechPost 发布教程,介绍 Underdog Saluki 27B:它是 Qwen3.8-27B 的 7.9 GB 量化版本,作者称在约 2 bit 每权重下仍保留工具调用能力,并在其自建的 120 项基准上略胜 54 GB 全量模型。Saluki 基于 ISTA-DASLab 对同一模型的 GSQ-RCO 量化。教程在原生 llama.cpp 中并排对比两个文件:逐张量比对 GGUF 头、逐字节比较,判断 Saluki 是 ISTA 量化结果的再加工还是改过的模型;随后在单张 GPU 上分别部署,记…

推荐理由想在单卡上跑 27B 工具调用模型的人,可照教程复现 7.9 GB 版本与 54 GB 全量版的对比测试。

Hacker News · AI5 天前模型新模型发布海外

Cerebras Deploys Trillion-Parameter AI Models

One of the most frequently asked questions we get is how we deploy large models on Cerebras wafer-scale chips. A single Cerebras WSE-3T wafer has 44 GB of on-chip memory, and trillion-parameter frontier models need terab…

推荐理由模型发布/更新类信息,来自 Hacker News · AI,建议按需查看原文。

LangChain5 天前资讯技巧与观点海外

LangChain 总结企业级 Agent 的五个核心组件

LangChain 基于内部营销、销售、工程三个团队实际部署的 Agent,提出构建“company harness”的五个共同要素:Agent 生活在员工日常工具里(如 Slack);知道提问者身份,部分服务以该用户身份(OBO)执行、部分用自身身份;具备全局和用户级记忆;代码在沙箱中运行并可调用需鉴权的服务;大量运行由定时触发而非人工调用。文中介绍了三个内部 Agent:GTM Agent 处理邮件、线索和每日简报,OpenSWE 起草和审查 PR,Content Studio 生成营销素材。原文还讨论了 Sl…

推荐理由做企业 Agent 的团队可直接对照这五个组件检查自己的架构,尤其是身份与定时触发两块。

TechCrunch AI5 天前模型新模型发布海外

Block 发布可在 MacBook M4 Max 本地运行的语音模型

Block 发布了一款语音模型,称其听起来「异常像人」。该模型可在 MacBook M4 Max 上本地运行。原文未披露模型名称、参数规模、开源方式、具体性能指标和发布时间等细节,信息有限。

推荐理由关注本地部署语音模型的开发者可以留意,官方称可在 M4 Max 上离线运行。

OpenAI News6 天前资讯论文研究海外

OpenAI 详解 Habitat 存储平台:支撑 10 亿用户、500PB 数据

OpenAI 发文介绍其在线存储平台 Habitat 的扩容方案。Habitat 需在 40 个地理区域内为超过 10 亿用户提供毫秒级数据访问,目前承载超过 500PB 数据。文章第二部分聚焦底层存储组件 Azure Cosmos DB 的扩展:OpenAI 与 Azure 团队合作,采用「共同管理的容器」多租户方案,在大规模下获得良好读性能。文中提到,Habitat 的多租户架构经历了从单一多租户容器,到为每个租户单独配置容器,再回到默认多租户容器的过程,并借助 Cosmos DB 内置能力推迟了相关投入。

推荐理由做大规模存储或多租户架构的工程师,可参考 OpenAI 在 500PB、10 亿用户规模下的多租户取舍。

DEV Community · AI10/23资讯技巧与观点海外

把数字信任写进 AI 与区块链架构:分析与执行分离

开发者 Aonica 在 DEV Community 发文,讨论 AI 融入数字基础设施后架构面临的新问题:系统不仅要输出准确,还要说明输出如何被验证、自动化操作如何被授权、关键操作如何被独立审计。文章提出把「数字信任」当作工程属性,核心设计原则是分离分析输出与操作权限——AI 模型只产出分析结果,由独立的策略与风险控制层判断动作是否合规,再交给授权层执行,并全程审计监控。文章还讨论了区块链作为验证层的用途(交易历史、智能合约执行、状态验证、权限管理、完整性检查)及其局限:不可篡改记录不能证明原始输入准确,智能合约…

推荐理由做 AI 自动化落地的团队可直接参考「分析层与执行层分离」的架构分层,避免模型输出直接触发操作。

Techmeme10/23资讯行业动态海外

Dwarkesh 专访 Intel 管理层:谈 AI 芯片需求与追赶台积电

Dwarkesh Patel 在播客中发布了对 Intel 管理层的采访,受访者包括 CTO Pushkar Ranade。访谈话题涵盖 AI 芯片需求、10nm 制程的经验教训、Intel 能否追上台积电,以及 Terafab 等。Patel 表示,他在 Intel 最先进的晶圆厂参观了两天,并据此整理了这次访谈。原文正文信息有限,具体观点和数字未在摘要中披露。

推荐理由想了解 Intel 代工路线和 Terafab 计划的人,可以听 Intel CTO 亲口讲 10nm 的教训

MarkTechPost10/23资讯技巧与观点海外

TinyFish 发布 Agentic Search 架构,编码任务完成率 79%

AI 搜索基础设施公司 TinyFish 发布两份技术指南,分别定义生产环境的 agentic search 架构,以及构建深度研究系统的经验。系统由 TinySearch、TinyFetch、TinyBrowser、TinyAgent 四个 Web 原语组成,在基础模型外围运行七阶段控制循环:定义任务、规划检索、选择路径、发现与获取、评估证据、恢复或升级、停止与验证。在 OpenBenchmarks 上,编码任务完成率 79.0%,中位任务成本 0.050 美元,token 消耗最低。架构参考 2026 年 2 …

推荐理由做生产级搜索 Agent 的团队可直接参考其七阶段循环和按失败类型重试的设计,成本 0.05 美元/任务。

Modal10/23模型新模型发布海外

Sakana AI 与 Modal 合作部署约 1 万亿参数 MoE 模型

Sakana AI 在 Modal 上部署约 1 万亿参数的 MoE 模型 Sakana Namazu,面向日本商业场景、实时网页搜索和代码执行。Modal 团队针对日语保留调优 NVFP4 量化:只量化路由专家,注意力、路由器和共享专家保持 BF16;校准数据以日语对话为主,覆盖全部 23,040 个专家。量化后日语指令跟随能力与生产检查点持平。另训练定制 DFlash 草稿模型用于投机解码,通用草稿模型接受率不足 40%。服务运行在 Modal 全球 GPU 池上,无需预留容量。

推荐理由万亿参数 MoE 的量化与投机解码实操细节,做大规模推理部署的团队可直接参考

vLLM10/23模型技巧与观点海外

vLLM 在 16 张 H200 上优化 GLM-5.3 长上下文推理

vLLM 团队公布 GLM-5.3 在 16 张 H200 上的部署优化方案,采用 1 个 prefill 节点加 1 个 decode 节点的分离架构。Prefill Context Parallelism(PCP)按 token 而非注意力头切分 prompt,更适配 GLM-5.3 的稀疏注意力;Decode Context Parallelism(DCP)按 token 分片 prefill 引擎的 KV cache,使 100 万 token 上下文能装进 prefill 节点;Hybrid HiSpar…

推荐理由部署长上下文 Agent 服务可参考:PCP8×DCP8 单用户速度提升 1.7–3.2 倍

Hugging Face 博客10/23模型技巧与观点海外

Hugging Face 上线 torch-neuronx 模型支持查询工具

Hugging Face 博客介绍了一个 Space 工具,用于查询 Hub 上的热门模型能否在 AWS Trainium 上不经修改直接运行。该工具按下载量和趋势排名列出模型,每行给出测试结果、模型分片所用的 Trainium 核心数、运行实际耗时(含编译)和峰值显存。用户可切换视图搜索指定模型,并选择 neuronx-cc 与 Transformers 版本。目前仅测试 Transformers 的文本生成和图文模型,计划扩展到 diffusers 等。工具还提供 run.py 脚本和 NEFF 缓存同步命令,…

推荐理由要在 AWS Trainium 上跑模型的开发者,可直接查目标模型是否兼容,并拿到现成脚本和缓存命令。

vLLM10/23模型技巧与观点海外

vLLM 在 GB300 NVL72 上服务 DeepSeek-V4.1-Flash

vLLM 官方博客称,在单台 NVIDIA GB300 NVL72 机架上,采用 P/D 分离和 Wide-EP 的 vLLM 运行 DeepSeek-V4.1-Flash,在 SemiAnalysis AgentX 上达到每 GPU 954K tokens/s,单用户 P90 为 196 tokens/s,是首个帖子中单节点结果的 7.9 倍,按 DeepSeek 非高峰价格计为每 GPU 小时 38.96 美元。专用 decode 路径单用户可达 826 tokens/s。与 DeepSeek 自研引擎 Dee…

推荐理由做 DeepSeek 大模型推理部署的团队可参考:单 GPU 954K tokens/s

The Verge AI10/23资讯行业动态海外

内存涨价致 Q3 全球 PC 出货量下滑 21%

Counterpoint Research 数据显示,2026 年第三季度全球 PC 出货量同比下降 21%,与 IDC、Omdia 此前报告一致。Counterpoint 将下滑归因于零部件涨价:内存、SSD 以及 Intel、AMD、高通芯片价格均上涨,带动 MacBook 到树莓派等产品提价。此前 PC 出货量已连续增长两年多。部分厂商转向更能消化成本上涨的配置,甚至重启 DDR4 内存和 4GB 显卡等旧技术。2025 年第三季度因 Windows 10 支持到期前的提前采购和关税相关库存调整,基数偏高,也…

推荐理由内存涨价已传导到整机价格,做硬件选型和采购预算的人需要知道 Q4 预计再跌 27%。

MIT Technology Review10/23模型技巧与观点海外

MIT 科技评论:企业 AI 的竞争优势在于模型之外的 serving harness

MIT 科技评论指出,企业 AI 的竞争重点正从模型能力转向围绕模型搭建的 serving harness,即架构、内存管理、调度与优化决策。文章认为,生产环境中的延迟、并发、内存压力、GPU 利用率和基础设施成本等约束,比模型准确率更能决定部署成败;一个准确率略高但推理成本翻倍的模型未必是更好的生产选择。文章建议先明确工作负载,再由约束决定架构,把 serving 架构视为投资决策。原文正文在此处截断,后续内容信息有限。

推荐理由做企业 AI 部署的架构师和 CTO 可据此重新分配预算:先看延迟和 GPU 成本,再选模型。

MarkTechPost10/23模型产品发布/更新海外

Liquid AI 发布 RIPL 实时推理引擎,LFM 端到端延迟低于 50 ms

Liquid AI 发布 Liquid RIPL(Real-time Inference Pipeline),一个在实时请求路径中运行 Liquid Foundation Models(LFM)的低延迟推理引擎,端到端返回完整生成结果低于 50 ms,并称在峰值负载下持续有请求到达时延迟仍能保持。支持 LFM2.5 系列 230M 到 2.6B 参数模型,运行在 NVIDIA H100、H200、B200 和 RTX PRO 6000 上,基准测试用单张 B200。据其自测,p95 延迟比 vLLM 上的 Qwen…

推荐理由做搜索排序、风控、支付授权这类毫秒级场景的团队,可参考其 6 个实时工作负载的延迟预算数据

Hacker News Show10/22资讯产品雷达海外

HackiOS 在安卓手机上启动 iOS 16.5 内核

OOSEX GANG 发布 HackiOS 项目,在 Android 手机硬件上启动苹果开源的 XNU 内核(xnu-8796.121.2,即 iOS 16.5 内核),并运行未修改的 iOS 16.5 用户空间,启动流程为 launchd → backboardd → SpringBoard → 应用。项目自研 EFI loader、UEFI 移植和闭源驱动替代品,可在 POCO X5 Pro 5G(骁龙 778G)上通过 fastboot boot 启动,系统全部驻留内存,重启即回到 Android;也可在 Q…

推荐理由想了解 iOS 内核在非苹果硬件上能跑多远,可看这份明确列出已实现与未实现功能的清单。

LangChain10/22模型产品发布/更新海外

LangSmith 推出 LLM Gateway 公测版,为 Agent 提供运行时管控

LangChain 宣布 LangSmith LLM Gateway 进入公开测试。该网关位于 Agent 与模型之间,统一执行运行时管控,避免成本超支和故障。支持按组织、工作区、API key、用户四个层级设置限时花费上限并追踪支出,超限时 Agent 收到 402 响应;同样四级可设速率限制;还支持模型回退和敏感数据处理。多租户场景下,可通过自定义请求头识别终端客户,在共用一把 API key 的情况下为每个客户单独设花费和速率上限。

推荐理由做生产环境 Agent 的团队可直接用:花费上限、限流、模型回退一次配置,避免重试循环烧出四位数账单

Techmeme10/22资讯行业动态海外

Xona 融资 2.5 亿美元,估值 24.5 亿,建 258 颗卫星导航星座

Xona 完成 2.5 亿美元 D 轮融资,估值 24.5 亿美元。该公司计划部署由 258 颗卫星组成的低地球轨道星座,作为 GPS 的商业替代方案。原文信息有限,未披露投资方、星座部署时间表和现有在轨卫星数量。

推荐理由GPS 商业替代方案拿到 2.5 亿美元 D 轮,估值 24.5 亿,可判断卫星导航赛道的资本热度