TechCrunch AI10/05模型行业动态海外TechCrunch Disrupt 2026 公布多场围绕 AI 模型选型的议程。其中一场名为「The Real Tokenmaxxing: How the Best AI Companies Navigate a Multi-Model World」,由 CapitalG 合伙人 Mo Jomaa、Together AI 联合创始人兼 CEO Vipul Ved Prakash、Pathway CEO 兼联合创始人 Zuzanna Stamirowska 参与,讨论企业为何使用多个模型、如何平衡成本性能与灵活性…
推荐理由了解多模型选型与自建/租用决策的讨论框架,含 Together AI、Oumi 等公司的一手观点
The Decoder10/05模型新模型发布海外德国 AI 公司 Aleph Alpha 发布 Kolibri,一个德英双语开源权重模型,总参数 780 亿,采用混合专家架构,每 token 激活约 30 亿参数。公司称其在质量与运营成本上处于帕累托前沿,德语基准得分 71%,解码速度快于 GPT OSS A5B、Qwen 3.6 A3B 和 Gemma 4 A4B。训练数据中德语占 21.3%,并使用中文模型生成合成数据。模型面向公共行政、航空和工业,支持最高 100 万 token 上下文,在德国和芬兰用 768 块 B200 GPU 训练,权重以 Apac…
推荐理由780 亿参数、Apache 2.0 开源、德语基准 71%,做欧洲合规部署可直接下载权重
DEV Community · AI10/05模型产品发布/更新海外开发者 Yash K Saini 为朋友 Akash 做了一个终端里的模拟技术面试工具 grill,基于开源模型、完全本地运行、不联网。它会克隆你的代码仓库并定位值得提问的行,例如 unsafe 块、锁、生命周期、spawned task、useEffect、forEach(async ...)、any、空 catch 等。在 Akash 的 4 个公开仓库上扫描出 116 处可疑点,其中排第一的是 miccli 项目 src/audio.rs:62 处一个与实时音频回调共享的 Arc<Mutex<...>>。面试…
推荐理由想练「讲自己项目」式面试的人可以直接本地跑,扫描器能自动找出代码里最可能被追问的那几行
DEV Community · AI10/05模型产品发布/更新海外开发者发布 MCP 服务器 pulpie-mcp,让 AI 编码 Agent 自己抓取网页和文档并转为干净 Markdown。测试中 Claude 用它爬取一个 60 页文档站点,含后端冷启动约 10 秒,总耗时约 49 秒,产出 60 个可检索的 Markdown 文件。工具本地运行 Pulpie 内容提取模型,保留表格、代码块、链接和图片,而非摘要或截断内容。提供四个工具:fetch_markdown、save_markdown、crawl_docs 和 list_library,Agent 可先查已存内容再决…
推荐理由做 Agent 文档检索可参考:49 秒抓 60 页,本地模型保留表格代码,避免摘要丢失 API 细节
MarkTechPost10/05模型行业动态海外阿里云 2023 年 4 月发布通义千问,同年 8 月开源 Qwen-7B,此后三年半迭代至 2.4 万亿参数开放权重模型。2024 年 2 月 Qwen1.5 覆盖 0.5B 到 72B,6 月 Qwen2 除 72B 外全部改用 Apache 2.0 许可,9 月 Apsara 大会一次开源超 100 个模型,预训练数据从 7 万亿增至 18 万亿 token。阿里称 Qwen 系列下载量超 4000 万,Hugging Face 上衍生模型超 5 万个。
推荐理由想了解 Qwen 各代参数、许可和上下文长度变化,这篇按时间线一次讲清。
MarkTechPost10/05模型新模型发布海外Cantina Security 联合 Yeta Labs 发布 apex-flash-1,一个专为漏洞研究训练的开放权重模型,基于 Z.ai 的 GLM-5.3-Flash 做强化学习微调,以 MIT 协议在 Hugging Face 发布。模型总参数 321.3B,MoE 架构激活 18B,用 GRPO 加 rank-256 LoRA 训练,数据来自 50 个真实漏洞案例构建的 150 个任务。在 20 个留出漏洞案例的 60 项任务上解出 40 项(66.7% pass@1),单次运行约 2.38 美元;Cl…
推荐理由每个解出任务成本约 0.06 美元,是 Opus 的 1/29,做漏洞研究 Agent 可本地部署
DEV Community · AI10/05模型产品发布/更新海外开发者发布开源项目 Find My Thingy,一个本地优先的个人记忆助手,用自然语言提问即可检索自己文档中的内容。支持导入 PDF、TXT、Markdown,经分块和嵌入后存入 ChromaDB,由 Ollama 运行的 Gemma 3 4B 基于检索到的段落生成带来源引用的回答。技术栈为 React + Vite + TypeScript 前端、Python FastAPI 后端、SQLite 数据库、Sentence Transformers(all-MiniLM-L6-v2)嵌入、PyMuPDF 处理 P…
推荐理由想自建本地 RAG 文档问答的开发者可直接参考其技术栈组合与分块、引用溯源的处理方式。
The Decoder10/04模型新模型发布海外NASA 与 IBM Research 联合多所学术机构发布 NASA-IBM Lunar Foundation Model,称其为最早的开源月球科学基础模型之一。模型基于地球观测模型 TerraMind 从零训练,使用自建数据集 SomBench——近 200 万个 tile bundle、11 种模态、两个空间尺度,含约 100 万张约 1 米/像素的窄角相机高分辨率图像和近 96.4 万张 100 米/像素的宽角相机多光谱图像。数据主要来自月球勘测轨道飞行器 17 年观测,并整合 GRAIL、Lunar Pr…
推荐理由月球科研数据首次有开源基础模型可用,少样本即可迁移到极地冰、陨石坑等任务
MarkTechPost10/04模型新模型发布海外Aleph Alpha 发布 Kolibri,一个面向德语和英语的开源 MoE 模型,总参数 78.1B,每 token 仅激活 3.46B(4.4%)。支持 104 万 token 上下文,可按请求设置推理强度,Apache 2.0 许可发布于 Hugging Face。FP8 权重约 78GB,可在单张 B200、B300、H200 或 2 张 H100 SXM5 上通过 vLLM 部署。预训练用 768 张 B200 跑 20T token,另加 2T 以上德语数据。目标场景是公共管理、工业和航空航天等受监管…
推荐理由78GB 权重单卡可跑,德语 token 比 GPT-5 分词器少 11.2%,做德语场景可直接换
DEV Community · AI10/04模型产品发布/更新海外一位 OpenTelemetry 贡献者发现自己提交的代码中仍有两个已废弃的属性名(db.system 和 db.operation),于是构建了工具 Attrition。该工具读取埋点代码,将每个属性键、指标名、事件名和枚举值与 26 个版本规范中的 1563 个名称比对,报告废弃名称、适配 span 类型的替代名、废弃版本、单位变化及规范链接,并提供可安全自动化的补丁。演示应用无需登录即可试用。
推荐理由做可观测性的人可以用它扫出代码里悄悄失效的埋点名称,避免仪表盘和告警静默失配。
MarkTechPost10/03模型产品发布/更新海外Prime Intellect 发布 Prime Inference,面向前沿开源模型提供无服务器端点和预留 GPU 容量两种服务模式。上线前内部日处理近 1 万亿 token,流量来自强化学习 rollout、合成数据生成、评测和长时间运行的编码 Agent。平台兼容 OpenAI SDK,接口地址为 api.pinference.ai/api/v1,支持跨数据中心自动故障转移。硬件当前为 NVIDIA Blackwell,Vera Rubin 即将支持。技术栈整合 Dynamo、vLLM、Mooncake 和 …
推荐理由兼容 OpenAI SDK,可直接替换 base_url 试用;GLM-5.3 端点速度在 OpenRouter 居前
Hacker News Show10/03模型产品发布/更新海外2 个独立信源2 条讨论开发者 anteloc 在 GitHub 发布开源项目 ldraw-nova,让 AI Agent 根据模型创意生成可拼装的 LDraw 乐高模型。产出包括 LDraw 源码、3D 查看器与播放器、Meta Quest 3 的 VR 交互视图、可编辑的 Blender glTF(.glb)文件,以及对话历史和 Agent 思考过程。项目通过 Docker 部署,需同时克隆 ldraw-nova 与 ldraw-nova-docker 两个仓库(v0.6.0),首次构建约需 5 GB 磁盘空间。Agent 查找零件和…
推荐理由想跑 Agent 生成 3D 可拼装模型的可以直接 Docker 部署,注意需 TypeSafe API key…
Hacker News · AI10/03模型产品发布/更新海外Redis 作者 antirez 发布 ds4,一个用 C 写的本地推理引擎,支持在高内存 Mac、CUDA 和 ROCm 机器上运行 DeepSeek V4 / V4.1 Flash、GLM 5.x 和 Qwen3.8 Flash Next,含文本与视觉模型。核心是对路由专家做非对称 2-bit 量化,保留关键共享路径精度,使 2840 亿参数的 DeepSeek V4 Flash 能在本地跑起来。KV cache 可存到 SSD 并按 prompt 哈希恢复,避免重启后全量重算。提供 CLI、兼容 OpenAI…
推荐理由想在本地跑 DeepSeek V4 或 GLM 5.x 的可以直接 clone 试
MarkTechPost10/02模型产品发布/更新海外Datalab 发布开源结构化文档抽取基准 OmniExtractBench,汇集 4 个现有基准的 620 份文档,用同一确定性评分器打分并解释每个判定。评分器已上 PyPI(omni-extract-bench v0.1.7,Python 3.11+,仅依赖 SciPy),Apache 2.0 许可;代码在 GitHub,数据在 Hugging Face(CC BY 4.0)。Datalab 称现有厂商自建榜单存在偏向、评分不透明、文档类型单一等问题。表格比对改用匈牙利算法做内容配对,官方称 100 行表格漏首…
推荐理由做文档抽取选型时,可用它复跑厂商结果,620 份文档、6 类判定,评分器 pip 直接装
Hugging Face 博客10/02模型新模型发布海外Allen Institute for AI(Ai2)开源了 AstaBrief 8B,一个把研究问题和检索到的文献片段转成带引用报告的小模型。它已作为 Asta 平台「Generate a report」功能的 Fast 模式上线,与 Claude 驱动的 Thinking 模式并列。官方称全流程 Fast 模式平均每份报告 51.1 秒,Thinking 模式 178.5 秒,约快 3.5 倍。训练用了数万条真实研究查询、引用过滤和偏好数据,并改为一次性生成全文而非分段写。模型权重和训练数据一并开源,另附一个可…
推荐理由8B 小模型做带引用报告,51 秒 vs 178 秒,权重和训练数据都开源,可本地跑
Hacker News Show10/02模型产品发布/更新海外Audionaut 是一款免费开源的多轨音频编辑器,用现代 C++ 和 JUCE 框架编写,原生支持 Windows、macOS 和 Linux。它支持 MCP 协议,Claude 等 AI Agent 可以直接编辑音频会话,每次编辑作为一个撤销步骤。安装命令为 claude mcp add audionaut -- npx -y audionaut-mcp,需 Node.js 18+。内置 Essentia 音频分析(BIC 分段、起音检测、节拍跟踪)和 demucs.cpp 音轨分离(Meta Demucs 的…
推荐理由想让 AI Agent 直接剪辑音频的开发者,一条命令接入 Claude,支持分轨和节拍检测
MarkTechPost10/02模型新模型发布海外2 个独立信源Cloudflare 发布其 Workers AI 团队训练的首批模型 Clef 和 Clef-flash,定位为决策模型而非聊天机器人:输入状态和带类型的 schema 问题,输出每个候选答案的概率,不生成自由文本。两者以 Apache 2.0 开源权重,兼容 TypeSafe AI 的 Jev API,已在 Workers AI 上线,权重同步发布于 Hugging Face。Clef 基于 Qwen3.8-27B、Clef-flash 基于 Qwen3.5-9B 后训练,保留视觉编码器。单次请求最多 64 个…
推荐理由做分类、打分、结构化决策的可以直接换:Apache 2.0 开源权重,单请求 64 问,威胁情报分类 2.2 秒。
Hacker News Show10/02模型产品发布/更新海外开发者 vshvedov 发布开源代码编辑器 Rhun,用汇编语言编写,主打轻量快速。功能包括标签页、语法高亮、模糊搜索和可选 Vim 模式,支持 Windows、Linux 和 macOS,Linux/macOS 可通过 curl 脚本安装,Windows 提供 ZIP 下载。官网宣传语称「AI 干重活,让编辑器保持轻量」。原文未披露性能数据、体积对比或开源许可证细节。
推荐理由想找极轻量编辑器的可以试,汇编实现、带 Vim 模式和模糊搜索,三平台可装。
MarkTechPost10/02模型新模型发布海外Cohere 发布 Embed 5 嵌入模型家族,分 Pro 和 Fast 两档,均支持文本、图像及图文融合输入,覆盖 100+ 语言,最长 128K token。API 模型 ID 为 embed-v5.0-pro 和 embed-v5.0-fast,输出维度可选 2048 至 256,默认 2048,支持 float、int8、binary。Pro 定价 0.12 美元/百万文本 token,Fast 0.08 美元,图像输入均为 0.40 美元。两档共享同一嵌入空间,可用 Pro 建索引、Fast 查询,该组…
推荐理由Pro 建索引 + Fast 查询可省成本且保留 98.4% 效果,做 RAG 可直接按此配置选型
Hugging Face 博客10/01模型新模型发布海外Allen AI 发布 Olmo-core 3,重写 MoE 训练系统,目标支持万亿参数规模。新框架从 FSDP 换成基于 DDP 的方案,把专家常驻 GPU、只路由数据,省去反复聚合权重。在 8 张 NVIDIA B300 上的初步测试中,470 亿参数 MoE 每 GPU 每秒处理 52000 token,旧实现为 19400,吞吐约 2.7 倍。另一项基准把专家池从 8 扩到 128、每 token 仍只选 4 个专家,激活参数约 3.2B 不变,总参数从 4.6B 增至 47B,吞吐下降不到 5%。同一套设…
推荐理由想自己训 MoE 的团队可以直接参考:专家池扩 16 倍吞吐只掉 5%,代码和报告都开源
MarkTechPost10/01模型新模型发布海外NVIDIA 发布 Kumo Tabular 系列表格基础模型(TFM),用于分类和回归任务。模型以带标签的行作为上下文,单次前向传播即可预测新行,无需训练、调参和特征工程。提供 Small、Medium、Large 三个版本,参数量约 28M 至 215M,通过 NVIDIA 开源的 structured-data-models(SDM)库运行。权重采用 OpenMDW-1.1 许可,允许商用;SDM 代码为 Apache-2.0,需 Python 3.11+ 和 PyTorch 2.7+,示例面向 CUDA G…
推荐理由权重可商用,28M 小模型就能免训练做表格分类回归,替代部分 XGBoost 流程
MarkTechPost10/01模型新模型发布海外Perplexity Research 与 turbopuffer 发布 pplx-embed-v2-context-9b-preview,一个面向 RAG 的上下文嵌入模型,权重已在 Hugging Face 以 MIT 协议开放,可自托管,暂未上线 Perplexity API。模型基于内部 9B ColBERT 检索模型,训练信号改为让模型同时检索答案及其验证所需的上下文,而非单一 gold passage;教师模型为 Perplexity 的 query-aware 上下文压缩模型,通过 KL 蒸馏加 In…
推荐理由MIT 协议可自托管,原生 int8 嵌入能省存储,做 RAG 的可以直接拉权重试
Fireworks AI09/30模型论文研究海外Fireworks 在 GLM 5.2 上做对照实验:同一算法、同一数据跑 countdown 推理任务,仅改变训练器与 rollout 引擎计算 token 概率的方式。不对齐时两者 KL 约 0.013,为保持稳定每批要丢弃约 45% 样本,奖励升到约 0.9 后在 20 步左右崩到 0.2 以下;对齐后 KL 为 0,无样本丢弃,25 步内奖励稳定。在 Qwen3.5-MoE 上还发现,即使一方精度更高,专家输出合并方式不同也会导致分歧,并可能翻转路由决策。
推荐理由做 RL 训练的人可以直接抄结论:先对齐训练器与推理引擎的数值,否则 45% 的样本白扔、奖励还会崩。
Hacker News Show09/30模型产品发布/更新海外开发者发布开源笔记工具 Ledge.sh,在 Markdown 代码块上按 ⌘↩ 即可执行 shell 命令、Python、SQL 和 AI 提示,输出直接流式显示在块下方。每个笔记拥有独立持久 shell,cd、环境变量、虚拟环境可跨次运行保留;支持通过 ssh 把笔记和 shell 放在远程服务器上运行,关闭笔记本后任务继续。Apache-2.0 开源,支持 macOS Apple Silicon、Linux、Windows 11 WSL、iPhone/iPad 和 Android(beta),另有每小时加密备…
推荐理由想在 Markdown 里直接跑 shell、SQL 和 AI 提示的人可以装来试,开源免费且支持 ssh 远程执行。
Techmeme09/30模型行业动态海外Baseten 宣布与 OpenAI 合作,通过 Codex 和 Responses API 原生提供开源模型服务。OpenAI 企业客户可使用其现有承诺额度(commitments)来调用 Baseten 托管和服务的开源模型。原文正文信息有限,未披露具体模型清单、价格与上线时间。
推荐理由OpenAI 企业客户可把已有额度直接用于 Baseten 上的开源模型,采购前先确认额度能否抵扣。
Hacker News Show09/29模型产品发布/更新海外EverMind-AI 在 GitHub 开源 Raven,定位为「harness 的 harness」,面向递归自我改进(RSI)。它作为 Host Agent 生成 DAG 并编排多个专用智能体,内置 Raven-Research、Raven-Code、Raven-Design、Raven-Oncall 四个智能体,由 EverOS 提供跨会话记忆与上下文。展示案例中,Raven 自主运行约 4 天、完成 42 轮规划开发验证,用 Godot 4 做出可玩 FPS 游戏及海报、演示、网站;在 nanochat …
推荐理由可看具体数字:172 次训练无崩溃、val_bpb 降 5.8%,做多智能体编排可参考其 DAG 与自改进设计
MarkTechPost09/29模型新模型发布海外H Company 发布 Holo4 系列通用电脑操作模型,同一套权重可点击屏幕、写代码、调用 MCP 或 API 工具,覆盖桌面、网页、Android、代码沙箱和企业 API。两个版本:Holo4 27B(dense,基于 Qwen3.8-27B)和 Holo4 35B-A3B(MoE,激活 3B,基于 Qwen3.6-35B-A3B),均支持 256K 上下文。35B-A3B 以 Apache 2.0 开源可商用自托管,27B 为 CC BY-NC 4.0,商用需走 H Models API。官方数据:Holo…
推荐理由35B-A3B 以 Apache 2.0 开源可商用,OSWorld 每任务 0.08 美元
Hacker News · AI09/29模型产品发布/更新海外MicroLLM Lab 上线,可在浏览器中直接运行 7 个小语言模型并做基准测试。测试用正则或精确 token 做客观判定,不看写作质量,最小的 135M 模型允许失败,失败本身即测量结果。页面记录持续解码速度(tokens/s)和客观测试通过率,数据只留在本机,图表按每个模型最新一轮测试生成。用户还能用 JavaScript 自己写基准,编辑器在本源下 eval 后对模型解码文本逐项检查。
推荐理由想零安装对比小模型速度与准确率的人,打开网页就能跑,数据不出本机
X @AIatMeta09/28模型新模型发布海外Meta AI 官方账号列出过去 6 个月发布的内容,包括 Muse Spark、Muse Image、Muse Video、Muse Spark 1.1、Meta Model API、Muse Glimmer、Muse Spark 1.2、Muse Code、Muse Spark 1.3 和 Muse,并称「这才刚刚开始」。原文仅为产品名清单,未披露各项目的参数、能力、定价或上线时间等具体信息。
推荐理由Meta 半年内 Muse 系列迭代到 1.3 并推出 Model API,可据此判断其模型节奏与产品线布局。
Techmeme09/28模型行业动态海外据 Financial Times 报道,美国最新一轮财报电话会中提及开源模型的次数同比增长 6 倍。具体数据:Vercel 8 月处理的 token 中开源模型占 56%,AT&T 的 AI 工作负载中开源模型占 40%。报道称,采用中国开源模型替代 OpenAI 和 Anthropic 系统的美国企业已远超硅谷范围。
推荐理由Vercel 56%、AT&T 40% 两个数字说明开源模型已进入美国主流企业生产环境
OpenRouter 公告09/28模型新模型发布海外OpenRouter 发布文章介绍阿里 2026 年 8 月发布的 Qwen 3.8 系列。该系列共有四款模型共用同一名称,区别在于能否下载、适用哪种许可证、是否支持图像和视频输入,以及能否关闭推理。文章覆盖每款模型的细节、许可条款、本地部署、基准测试分数,以及在 OpenRouter 上影响账单的因素。原文未给出具体分数和价格数字。
推荐理由想用 Qwen 3.8 的人先看这篇,分清四款同名模型的下载权限、许可证和计费差异
The Verge AI09/28模型产品发布/更新海外音乐创业公司 Thoughtful Things 为旗下首款乐器 Engram 发起 Kickstarter 众筹。这是一款采样器和 groovebox,用本地运行的「微型 AI」处理输入音频,甚至生成全新的幻觉声音。设备不联网,模型由公司自研并定制训练,训练数据仅使用 CC-BY 等允许商用的开放音频数据集,公司称不会使用盗版或非商用数据。固件计划开放,允许用户修改或加载自定义模型。Kickstarter 起售价 675 美元,限量发售,零售价预计 850 至 900 美元。
推荐理由675 美元买一台本地跑 AI 音频模型的硬件,固件开源可自己换模型,做实验音乐或 AI 音频的人可以看。
Hacker News Show09/28模型产品发布/更新海外Cartopolis 是一个开源的「真实世界社交地图」:用荷兰 BAG、3DBAG、AHN、PDOK 等公共登记数据重建可步行的 3D 城市,每栋建筑都有建造年份、用途、面积、文物登记等卡片信息,支持真实日照、天气、步行/骑行/驾车路径规划。用户以化身进入,支持按距离限定的本地聊天、邻近语音、端到端加密私聊,可放置和脚本化 3D 物体、用 IFC 模型替换建筑,并通过 HTTP API 导入导出内容。浏览器版需 WebGPU,另有 Linux/Windows 桌面版和 Android APK(arm64,Andro…
推荐理由想找开源 3D 世界或空间社交项目的人可以直接跑 cargo run,荷兰以外也能用 OSM 数据起步。
The Decoder09/27模型新模型发布海外英伟达发布 Nemotron 3 Diarization,一个约 1 亿参数、权重免费开放的说话人分离模型,可实时识别最多 8 位说话人,并检测多人同时说话。在 VoiceArena Diarization Benchmark v1 上以 14.7% 的 DER 排名第一,领先第二名 19.3%;相比前代 Streaming Sortformer 在 8 个测试场景中平均降低 41% 错误率。音频缓冲可设为 30.4 至 0.32 秒四档,缓冲越短准确率越低。搭配 Parakeet 等语音识别系统可生成带说话人标签…
推荐理由权重免费、DER 14.7% 当前第一,做会议转写或实时字幕可直接拿来用
MarkTechPost09/27模型新模型发布海外巴西小型 AI 实验室 Supersonic Labs 发布 Julia 1,一个 1.443 亿参数的决策模型,非聊天机器人:输入上下文、问题和 2 到 20 个候选答案,模型选出一个并给出每个选项的概率。权重以 Apache 2.0 协议发布于 Hugging Face,可在 CPU 或 BF16 GPU 上本地运行,ONNX 版本可通过 WebGPU 在浏览器运行;托管 API 已宣布但未开放。模型基于 JHU CLSP 的 mmBERT-small 编码器,训练与实验的云 GPU 总花费约 540 雷亚尔(…
推荐理由训练成本仅 104 美元、权重 550 MB,可在 CPU 和浏览器本地跑分类决策,做路由和标签判断可直接试
MarkTechPost09/26模型新模型发布海外Liquid AI 发布实验性推测解码草稿模型 LFM2.5-VL-3B-DSpark,为其 LFM2.5-VL-3B 视觉语言模型加速,输出结果不变。草稿模型增加约 2.8 亿参数,部署参数量提升 8.9%。官方称解码速度在 Apple 芯片上最高提升 3.13 倍,NVIDIA H100 上最高 2.66 倍。权重已在 Hugging Face 以 Safetensors 和 GGUF 格式发布,首日支持 SGLang、MLX-VLM 和 llama.cpp。采用 LFM Open License v1.0,年…
推荐理由本地跑 VLM 的可试,Apple 芯片解码最高快 3.13 倍,权重已上 Hugging Face
MarkTechPost09/25模型新模型发布海外安全公司 Aikido Security 发布首个开放权重模型 Altar-1,由智谱 GLM-5.3 压缩而来,权重已在 Hugging Face 公开,可在单节点 4 张 NVIDIA H200 上以 vLLM 运行。GLM-5.3 是 753B 参数 MoE,每 token 激活约 40B 参数。Altar-1 先采用 AWQ INT4 量化,再用 Cerebras REAP 按路由权重和输出幅度剪枝,每层保留 256 个路由专家中的 168 个,去掉 88 个(34.4%),无需重训练。存储从 BF16 的…
推荐理由328 GB 权重可在 4 张 H200 本地跑,做私有化安全审计的团队可直接下载
Hacker News Show09/25模型产品发布/更新海外开发者 bertaye 在 GitHub 开源 agentic-cuda-optimizer,用 LangGraph 驱动的 Agent 自动完成 CUDA 内核的代码生成、正确性校验、基准测试与迭代改进。Agent 可查询 GPU 属性、检索 NVIDIA 文档、读取 Nsight Compute 计数器来指导下一轮实验,同时修改内核代码和每个用例的启动配置。C++ harness 用 NVRTC 编译、CUDA Driver API 启动,Python 负责结果比对与候选筛选。排名取各性能用例延迟的几何平均,默…
推荐理由有 N 卡就能跑,把 CUDA 调优从手工试错变成自动迭代,附完整配置和运行命令
MarkTechPost09/25模型新模型发布海外Fastino Labs 发布 GLiNER2.5-Decide,一个 340M 参数的开源决策模型,权重以 Apache 2.0 协议发布,可通过 pip install gliner2 安装,支持 CPU、GPU 和离线环境运行。模型基于 DeBERTa-v3-large 编码器,从 gliner2-large-v1 微调而来,属于非生成式分类器,调用时传入文本和带类型的问题 schema,返回结构化答案及概率分布、置信度和约束可行性信息,面向 Agent 流程中的路由、分流、工具选择和护栏判断。在内部 Fas…
推荐理由340M 模型在决策任务上超过 54B 级 Qwen3.5,且能跑在 CPU 上
TechCrunch AI09/25模型新模型发布海外AI 实验室 PrismML 在高通骁龙峰会上展示了 1-bit Bonsai LLM,可在搭载 Snapdragon AR1 Gen 1 平台的 AI 智能眼镜上本地运行。该版本为 20 亿参数、面向视觉与语言调优的模型,佩戴者可实时询问眼前所见。PrismML 由加州理工研究人员创立,UC Berkeley 的 Ion Stoica 担任顾问,其技术可将大模型压缩约 4 倍,同时保留标准基准上几乎全部性能。公司目标是推动开放权重、在设备端运行并充分利用现有算力的 AI。目前尚无搭载 PrismML 的智能眼镜产…
推荐理由端侧 20 亿参数、压缩 4 倍仍保性能,做可穿戴和本地推理的可以盯这条路线