MarkTechPost1 天前模型论文研究海外Polymathic AI、普林斯顿大学、USC ISI、NYU 和 Flatiron Institute 的研究者发布 FlashMap 投机解码草稿模型,用连续流映射替代离散扩散草稿器,一次前向传播生成 16 个 token 的完整块。在 Qwen3-8B 上,GSM8K 任务报告最高 6.14 倍无损加速(temperature 0,接受长度 7.69 token);最差情况是 Alpaca 在 temperature 1 下的 2.28 倍。草稿器参数量 0.5B(Qwen3-8B 用 500M,Qwen3…
推荐理由有 Hugging Face 权重和 vLLM/SGLang 插件,部署 Qwen3-8B 可直接试 6.14…
MarkTechPost3 天前模型新模型发布海外Hugging Face Bio 发布 Carbon-X,一个 14.8B 参数的 DNA 语言模型,采用 Apache 2.0 许可,权重可下载。它基于 Qwen3-14B,把 DNA 和自然语言放进同一个 token 流,可直接在对话中读原始 DNA 并用英文回答,支持突变致病性预测、调控区标注、物种分类和碱基预测。上下文 40,960 token,单张 80 GB GPU 可跑,官方 GGUF 量化版 Q4_K_M 仅 9.6 GB。5 项 DNA 基准平均 66.7%,自称优于所有被测开源模型,比 GPT-…
推荐理由Apache 2.0 权重可本地部署,单张 80 GB 卡或 9.6 GB 量化版就能跑,敏感序列不用出实验室。
MarkTechPost10/22模型论文研究海外Perplexity 与 NVIDIA 团队提出后训练方法 JOLT(Joint On-policy Learning and Teaching),让同一个模型同时扮演教师和学生两个角色:教师能看到特权信息,学生看不到,而且教师本身也会被训练,以保证其反馈始终可用。在 MATH 上,JOLT 达到 GRPO 的准确率,但处理的训练 token 少 6.5 倍。测试覆盖 Qwen3-0.6B、Qwen3-4B-Instruct、Qwen3-8B、Qwen3-30B-A3B-Instruct 和 DeepSeek-V2…
推荐理由做 RL 后训练可省 6.5 倍 token,AppWorld 通过率高 9.9 个百分点
Hugging Face 博客10/22模型论文研究海外Dharma AI 在生产环境的葡萄牙语作文评分系统上验证:基于 Qwen3-4B,仅重建词表、保持基座模型、数据和训练配方不变,实测推理成本下降 77%。原因是通用词表存在两种浪费:一是碎片化,JSON 外壳、能力名称等高频重复内容被切成多个 token;二是冗余,模型每生成一个 token 都要对 151,669 个词表条目打分,其中大量条目该任务几乎不用。VocabX 按每个 token 的成本而非出现频率来构建词表。论文仍在评审中,数字可能变动。
推荐理由词表是训练前就能改的成本杠杆,做垂类小模型的人可以先算自己 JSON 输出占多少 token
Hacker News Show10/19模型新模型发布海外2 个独立信源2 条讨论开发者 erikkannike 在 MacBook Air 上微调 Qwen3-4B-Instruct,发布 qwen3-4b-deslop,用 Ollama 一条命令即可运行,模型 2.5 GB。在 40 条训练未见过的提示上,AI 腔调检测分数从每千词 121 降到 12.5,68% 的回答落在人类写作区间,破折号从每千词 20.5 个降到 0。30 道事实题全部答对,体裁和长度符合率与原模型相当。训练仅用 161 条回答,作者称方法不依赖模型规模,下一步将用于更大模型。缺点是文风偏平,仍会编造人名地名。
推荐理由想本地跑一个不带 AI 腔的写作模型,2.5 GB 一条 Ollama 命令即可,破折号归零
Simon Willison10/05模型论文研究海外Simon Willison 在 DGX Spark 上测试本地 Qwen3.8-27B-Q4_K_M.gguf 模型用英文单词表达加法结果的能力。禁用推理时,5,070 个测试用例的数值准确率为 23.57%,格式合规率 96.17%;一至三位数操作数准确率 97.04%,十至十三位数降至 6.44%。启用中等推理后,169 个配对用例中答对 167 个,推理过程包含逐位对齐和进位计算。
推荐理由本地部署 Qwen3.8 27B 的实测数据:关推理做多位数加法基本不可用,开推理准确率 98.8%
MarkTechPost10/02模型新模型发布海外2 个独立信源Cloudflare 发布其 Workers AI 团队训练的首批模型 Clef 和 Clef-flash,定位为决策模型而非聊天机器人:输入状态和带类型的 schema 问题,输出每个候选答案的概率,不生成自由文本。两者以 Apache 2.0 开源权重,兼容 TypeSafe AI 的 Jev API,已在 Workers AI 上线,权重同步发布于 Hugging Face。Clef 基于 Qwen3.8-27B、Clef-flash 基于 Qwen3.5-9B 后训练,保留视觉编码器。单次请求最多 64 个…
推荐理由做分类、打分、结构化决策的可以直接换:Apache 2.0 开源权重,单请求 64 问,威胁情报分类 2.2 秒。
MarkTechPost09/25模型新模型发布海外BottleCap AI 发布 ThinkingCap 系列第二个模型 ThinkingCap-Qwen3.8-27B,基于 Qwen3.8-27B 微调,目标只有一个:缩短推理链。在 12 个基准上平均少用 37.2% 思考 token,宏平均准确率从 86.65% 降至 85.79%,下降 0.86pp。各基准缩减幅度 10.7% 至 65.5%,MMLU 类任务降幅最大,MMLU 从 1656 降至 571 token(-65.5%);长文本检索 AA-LCR 准确率反升 2.25pp 至 84.00%;AI…
推荐理由推理成本可降约三分之一,长文本检索反而更准,vLLM/SGLang 可直接替换部署
MarkTechPost09/24模型新模型发布海外Contrastive-LM 发布 CLM-8B,首个开源 Contrastive Language Model(CLM)。它不生成文本,而是对候选动作打分并返回概率,对标 TypeSafe AI 的专有 System One 模型 Jev。Apache-2.0 授权,头部权重仅 75 MB,单张 NVIDIA GPU 即可运行,用 vLLM 服务 Qwen3-8B 编码器。训练分三阶段:约 6000 万 Nemotron DQA 问答对预训练、约 3000 万 Gemini 2.5 Flash-Lite 合成难负…
推荐理由单卡可跑、权重 75 MB,Agent 动作打分延迟从 150 ms 降到 16 ms,做 Agent 循环可直接换