LangChain 解答 Agent 评测常见问题
LangChain 发布文章,集中回答 Agent 评测中的常见疑问,涵盖入门路径、离线评测与在线评测的区别、评测器类型、LLM 裁判、基于 Harbor 的基准测试、多轮对话评测,以及如何控制评测成本。原文为问题清单式概览,未展开具体方法与数据。
推荐理由做 Agent 评测前先看这份问题清单,能少走弯路,尤其适合纠结离线还是在线评测的团队。
七彩虹官宣 iGame X870E ULTRA-S 主板,秀 192GB 6600CL28 内存超频
特斯拉向 HW3 英特尔芯片版老款 Model S/X 推送 FSD v14 Lite
F1 开赛在即:美国奥斯汀市解锁苹果精细化地图,高精 3D 建模
科技大佬拼酒量:马斯克豪饮 3 品脱夺魁,扎克伯格喝黑啤面露难色成全网热梗
Epic 借助 AI 打造新版启动器,承认传统编程“太难”
Linux 之父托瓦兹推出首个 AI 辅助开发的补丁:并发文件读取吞吐量提升约 3 倍
巴克莱银行分析师:特斯拉、SpaceX 合并或在年内官宣
YouTube Music 给音乐打 AI 标签,用户听歌可看清“成分表”
受益于 AI 热潮,分析师预计台积电有望连续第六个季度创下单季盈利新高
Meta 开源 Muse Spark Open,1M 上下文支持 Agent 编码
Meta 发布 Muse Spark Open 模型权重,主打 Agent 编码与长周期任务,原生多模态、支持 100 万 token 上下文,可完成写代码、调试、多步规划、连续工具调用和长流程中的失败恢复。在 Meta 的评测中,该模型用 Terminus 2 Agent 在 Terminal-Bench 2.1 上得分 76.4,用 Meta 偏好的 harness 在 DeepSWE 1.1 上得分 60(xhigh 推理强度)。模型已上线 Modal,以 Shared Endpoint 形式按 token …
推荐理由开源权重加 1M 上下文,Terminal-Bench 2.1 得 76.4
NVIDIA Nemotron 3.5 Super VL 开源,vLLM 首日支持
NVIDIA 发布开源多模态模型 Nemotron 3.5 Super VL,采用 120B 总参数、12B 激活参数的 MoE 架构,支持文本、图像、文档、视频输入,输出为文本。模型面向长时间运行的 Agent,将推理、指令遵循、工具调用与视觉理解合为一体,减少同时部署文本模型和视觉模型的需要。技术上有 C-RADIOv4 视觉编码器、混合 Mamba-Transformer、多 token 预测和 NVFP4 量化。权重已在 Hugging Face 发布 BF16 和 NVFP4 版本,vLLM 提供首日推理…
推荐理由120B MoE 只激活 12B,单卡 GB10 就能跑,做多模态 Agent 可省掉独立视觉模型
Meta 开源 Muse Spark Open:816B 参数多模态 MoE 模型
Meta 发布开放权重模型 Muse Spark Open,总参数约 816B,每 token 激活约 42B,上下文窗口最高 100 万 token。模型支持文本、图像、音频、视频输入,输出文本,面向 agentic 编码训练,可读取代码库、编写和调试代码、调用工具。架构上共 62 层,每层 256 个专家、每 token 选 8 个,专家占总参数约 97%;提供 BF16 和 NVFP4 两种 checkpoint。Meta 称其为迄今最强的美国开放权重模型,与 8 月发布的小型稠密模型 Muse Glimme…
推荐理由816B 总参数只激活 42B,支持 100 万 token 和四种输入模态,做本地 Agent 编码可直接下载权重。
Achieving near-zero-downtime scaling in Elastic Expert Parallelism
Traditionally, changing the number of GPUs in a vLLM service required adding or removing entire model replicas or restarting the engine with a different GPU count. As models grow larger, each replica needs more GPUs, so …
推荐理由行业动态类信息,来自 vLLM,建议按需查看原文。
Claude Code Review 正式版发布,审查速度提升 3 倍
Anthropic 宣布 Code Review 结束研究预览,正式面向 Claude Team 和 Enterprise 组织开放。正式版主要改进:多数审查速度提升约 3 倍,从约 20 分钟缩短到 6-10 分钟;更擅长发现真正重要的 bug,并给出问题、触发条件和修复方案;管理员可按仓库选择 Quick、Standard 或 Deep 三档审查深度。符合条件的 Enterprise 组织可在 2027 年 1 月 15 日前领取至少 1 万美元 Code Review 额度,额度领取后 30 天过期。管理员在…
推荐理由用 Claude Code 的团队可省下 PR 审查等待时间,20 分钟压到 6-10 分钟,还能领 1 万美元额度
Gudea 用 AI 追踪社交媒体舆情,提前预警公关危机
Gudea 是一家自称“互联网风暴追踪器”的公司,通过 AI 追踪故事和谣言在社交媒体及网站上的传播路径,帮助组织在 AI 生成虚假信息、仇恨言论或损害性谣言演变成大规模公共争议之前进行预防。原文正文信息有限,未披露具体客户、定价或技术细节。
推荐理由做品牌公关和舆情监测的可以留意这个方向:AI 谣言预警正在成为独立产品品类
Sullivan & Cromwell 用 Codex 打造合同审查工具
国际律所 Sullivan & Cromwell 合伙人 John Savva 用 Codex 开发了 Agreement Analyzer,最初是单用户概念验证,后与 OpenAI 合作提升输出质量、通过并行处理提高效率,并扩展为多名律师可同时使用的工具。该工具整合律所工作流、精选先例、谈判 playbook 和 ChatGPT Enterprise,律师输入合同草案后可指定先例和立场,工具从多个角度进行多轮审查、汇总结果、识别潜在问题,输出备忘录和建议修订,供律师审阅、修改或拒绝。Savva 强调输出需可溯源,…
推荐理由律所自建合同审查 Agent 的完整案例,含多 Agent 对抗与溯源设计,做法律 AI 的可直接参考
Black Forest Labs 发布 FLUX.3 Image Klein,支持布局控制
Black Forest Labs 发布 FLUX.3 Image Klein,发布当天即集成进 Diffusers。单一模型同时支持文生图、多参考图生图和布局控制:在提示词中写边界框,指定画面各部分的摆放位置,或参考图中哪些部分需要移动。开放两个 checkpoint:蒸馏版 flux-3-image-klein 默认 16 步、无需 CFG,在 H100 上生成 1024×1024 图像约需 2 秒;基础版 flux-3-image-klein-base 默认 50 步、使用 CFG。NVFP4 和 FP8 权…
推荐理由蒸馏版在 H100 上 2 秒出 1024×1024 图,支持用边界框控制构图,可直接 pip 安装试用
Liquid AI 发布 LFM2.5-24B-A2B 端侧推理模型
Liquid AI 发布 LFM2.5-24B-A2B,24B 参数、每 token 仅激活 2B,是 LFM2.5 系列最大也是最后一款模型。在 8 项 agent 与工具调用基准中 5 项对标 Qwen3.6-35B-A3B,LiveClaw 得分 48.09 对 38.19,AutomationBench 27.69 对 8.72。端侧速度最高为同类 MoE 的 1.7 倍,Apple M5 Max 上 184 tokens/s,单张 NVIDIA B300 上输出可达 21K tokens/s。上下文从 3…
推荐理由24B 总参、2B 激活,M5 Max 上 184 tokens/s,端侧跑 Agent 可直接下载权重
AI 实时分离人声,席琳 · 迪翁演唱会用上音频黑科技
英伟达黄仁勋:若客户开发不安全 AI 软件,极端措施可断供芯片
IT早报 1015:苹果收盘市值首超 5 万亿美元;赛力斯起诉男子 AI 造谣索赔百万;iPhone 15 Pro 及后续机型国行大模型备案;豆包助手放开三方应用操作权限...
novel-plus v5.4.0 发布,原创文学 CMS 系统
彭博社:苹果有望 12 月随 iOS 27.3 在国内推出首波 Apple Intelligence 功能
Colossal 推出 AI 平台 GenoMorph,助力加快复活灭绝物种研究
美国 8 州起诉 OpenAI,指控 ChatGPT 指导青少年如何自伤或伤害他人
Datalab 发布 OmniParseBench:16288 项 OCR 测试
Datalab 发布开源 OCR 评测基准 OmniParseBench,用 16288 项是/否测试覆盖 2343 份文档的 2937 页、92 种语言,数据集与代码公开。它不评模型,而是评测框架,可用 uv pip install omni-parse-bench 安装,需 Python 3.11+,离线打分无需 API key。首发榜单上 Gemini 3.8 Flash 以 92.9 分居首,Datalab 自家的 accurate 模式以 92.7 分第二,前三名差距在 1.3 分以内。每个分数都是通过测…
推荐理由选 OCR 解析器前先跑一遍,16288 项测试能按语言和版式筛出适合自己文档的那款
SpaceXAI 发布 Grok Voice 3.0:号称全球最智能的语音模型,延迟低于 1 秒
入职约 1 年:OpenAI 基础设施与 AI 算力负责人卡蒂离职,曾主导“星际之门”计划
OpenAI 承诺不使用苹果所称被窃商业秘密,双方诉讼互指对方窃取机密
马斯克自曝:过去一年里,我大概经历了六次“赛博精神病”
麦肯锡面试新花样:先和 AI 客户对线十分钟
OpenAI 和 Anthropic 被欧盟调查,若认定违反 AI 法案最高罚全球 3% 营业额
消息称 Anthropic 第三季度营收达 168 亿美元,已实现调整后盈利
涉嫌在高管会议室安装窃听设备的 OpenAI 沙特籍工程师,被曝已买好回家的单程机票
Intero Biosystems 用微型人类肠道替代动物试药
丹佛初创公司 Intero Biosystems 开发人类肠道类器官,用于药物测试以补充动物实验。其旗舰产品 GastroScreen 每个类器官直径约 1 毫米,一次约 100 个管装邮寄给制药、生物技术、食品和化工客户,可作健康肠道模型或诱导疾病状态。公司 2024 年成立,现有 7 名员工、不到 10 家客户,去年完成 230 万美元 pre-seed 轮融资,去年四季度到今年三季度营收超 40 万美元。FDA 去年 4 月提出减少动物实验依赖,今年 3 月发布相关指南草案。
推荐理由FDA 推动替代动物实验,这类类器官公司营收已超 40 万美元,可关注药物测试新路径
Fish Audio 开源 35B MoE 语音模型 Drama 3
Fish Audio 发布 Drama 3,一个 35B 总参数、每 token 约 3B 激活的 MoE 文本转语音模型,权重已上 Hugging Face 并接入官方 API。模型支持 83 种语言、单次请求最多 16 个说话人,可用括号内的自然语言指令控制语气,如 [barely holding it together]。FP8 推理需至少 48 GB 显存的单张 NVIDIA GPU,不支持 CPU、Apple MPS 和 AMD ROCm。在 Artificial Analysis 发音鲁棒性测试中总体 …
推荐理由开源可自托管,48 GB 显存即可跑,做有声书、配音和多人对话可直接换用
Ito:用 Lua 构建终端 UI 的交互式工具
开发者发布 Ito,一个用 Lua 编写终端 UI 的交互式工作坊。用户通过 require("ito") 返回构建视图的函数,用 ito.state(value) 管理可变状态,并用 VStack、HStack、Text 等组件组合界面。支持 :spacing(1)、:padding(2)、:grow()、:bold()、:dim() 等修饰符调整布局与样式,编辑时预览实时更新,出错则保留上次可用预览。内置 Input 流程处理键盘导航、编辑和取消,提供全屏展开图标,ito.md 可作为给 LLM 的指南。原文信…
推荐理由用 Lua 写终端 UI 并实时预览,ito.md 可直接喂给 LLM 生成界面代码。
CedarDB 推出云版数据库,同时处理事务与分析
慕尼黑数据库公司 CedarDB 在 TechCrunch Disrupt 上宣布 CedarDB Cloud 有限可用,此前已于去年 5 月发布本地部署的企业版和免费社区版,并完成 530 万欧元(约 600 万美元)种子轮融资。CedarDB 源自慕尼黑工业大学 Umbra 研究项目,由 5 位 Umbra 研究员联合创立,主打用同一套引擎同时处理事务型和分析型查询,兼容 PostgreSQL 以降低迁移成本。CEO Moritz Sichert 称,AI Agent 兴起后,企业需要快速用自然语言对历史交易数…
推荐理由做数据栈选型可留意:兼容 PostgreSQL、免重建应用,事务与分析同库处理