清除条件
共 2 条
TechCrunch AI10/22资讯新模型发布海外

Recursive 发布 Flint:可在笔记本本地运行的开源编码模型

AI 初创公司 Recursive 发布首个模型 Flint,一个可在笔记本上离线运行、免费下载的编码模型,采用 Apache 2.0 开源协议。公司称其自动化研究系统 Eureka Machine 参与了 Flint 开发几乎每个环节,小团队不到四个月从零建成。Flint 为混合专家模型,总参数 400 亿,每次仅激活 25 亿。在 M4 Pro MacBook Pro 上生成速度约 131 tokens/秒,约为同机 Gemma 4、Nemotron 3.5 Lightning 等同类模型的两倍;在 RTX S…

推荐理由400 亿参数、激活 25 亿,笔记本离线跑 131 tokens/秒,Apache 2.0 可免费下载改

vLLM10/21资讯新模型发布海外

vLLM 首日支持 Recursive 的 Flint 模型:单卡 GB200 解码约 500 tokens/s

vLLM 宣布从发布第一天起就支持 Recursive 的 Flint 模型,NVFP4 和 BF16 两个 checkpoint 都能在单张 GPU 上运行;在单张 GB200 上,即使上下文长度达到 100K tokens,单次请求的解码速度仍约为 500 tokens/s。Flint 是一个 40B 参数的 MoE 模型,每个 token 只激活约 2.5B 参数,多数层使用滑动窗口注意力,上下文长度为 262K tokens。官方提供了 vllm/vllm-openai:flint 镜像,支持 x86_64…

推荐理由单张 GB200 在 100K 上下文下解码约 500 tokens/s,40B MoE 只激活 2.5B