vLLM10/16模型新模型发布海外vLLM 在发布当天即支持 Reflection 的 Beam 模型:501B 参数 MoE,每 token 激活 23B。在 NVIDIA Blackwell 上,由编码 Agent 自主优化后,batch-1 解码比初版快 2.71 倍,prefill 快 1.87 倍。配合 DFlash2 投机解码草稿模型,单请求在 TP8 上达到 708 tokens/s,接受长度 3.7;自适应验证在高并发下再提升 10% 吞吐。架构上,52 层解码器采用 DeepSeek-V3 式 MoE 路由,43 层为 512 t…
推荐理由想部署 501B 级开源 MoE 的团队可直接用官方 Docker 镜像
Hugging Face 博客10/16模型新模型发布海外美国新实验室 Reflection 发布首个模型 Beam,采用 MoE 架构,总参数 501B、每 token 激活 23B,支持 100 万 token 上下文,以 Apache 2.0 许可开源。模型面向编码和 Agent 场景,提供 BF16、FP8、NVFP4 三种权重格式,首日即支持 transformers、SGLang、vLLM,并附带基于 Rust 的专用 harness 和投机解码草稿模型。推理强度分 low、medium、high、xhigh、max 五档,支持跨轮保留思考内容。Reflect…
推荐理由501B 参数、Apache 2.0、100 万上下文,想在自有硬件上部署前沿编码模型可直接下载
TechCrunch AI10/06模型新模型发布海外3 个独立信源英伟达投资的 Reflection AI 发布首个开放权重模型 Beam,官方称其在推理能力上对标 GLM-5.2,且推理算力消耗低得多。模型权重预计本月开放下载。原文信息有限,未披露参数规模、具体评测分数和许可协议。
推荐理由开放权重模型又多一个选择,等本月权重放出后可实测推理算力差距