vLLM6 天前模型技巧与观点海外vLLM 官方博客称,在单台 NVIDIA GB300 NVL72 机架上,采用 P/D 分离和 Wide-EP 的 vLLM 运行 DeepSeek-V4.1-Flash,在 SemiAnalysis AgentX 上达到每 GPU 954K tokens/s,单用户 P90 为 196 tokens/s,是首个帖子中单节点结果的 7.9 倍,按 DeepSeek 非高峰价格计为每 GPU 小时 38.96 美元。专用 decode 路径单用户可达 826 tokens/s。与 DeepSeek 自研引擎 Dee…
推荐理由做 DeepSeek 大模型推理部署的团队可参考:单 GPU 954K tokens/s
MarkTechPost10/17模型新模型发布海外2 个独立信源DeepSeek 发布 V4.1-Flash 的新检查点 V4.1-Flash-1017,已在官网、App 和 API 上线,API 模型名为 deepseek-flash。官方称在全部 11 项基准上比 9 月版本高 2.0 到 11.1 分,其中 DeepSWE v1.1 得 77.0,高于表中 Claude Opus 5 的 74.0;HLE 无工具仅 42.6,低于 Opus 5 的 56.3。模型为多模态 MoE,552B 主干加 196B Engram 参数,prefill 激活 8B、decode 激…
推荐理由编码模型 DeepSWE 77.0 反超 Opus 5,且 Search API 开放
Techmeme10/07模型新模型发布海外Artificial Analysis 的评测显示,Mistral Large 4 是来自美国和中国以外地区最智能的模型,成绩与 DeepSeek V4.1 Flash(max)相当。原文正文仅为播客与订阅推荐内容,未给出具体评测分数、测试项目或对比数据,信息有限。
推荐理由想知道非美中阵营模型目前追到哪一步,可记住这个结论:Mistral Large 4 对标 DeepSeek V4.1…
Hacker News · AI10/03模型产品发布/更新海外Redis 作者 antirez 发布 ds4,一个用 C 写的本地推理引擎,支持在高内存 Mac、CUDA 和 ROCm 机器上运行 DeepSeek V4 / V4.1 Flash、GLM 5.x 和 Qwen3.8 Flash Next,含文本与视觉模型。核心是对路由专家做非对称 2-bit 量化,保留关键共享路径精度,使 2840 亿参数的 DeepSeek V4 Flash 能在本地跑起来。KV cache 可存到 SSD 并按 prompt 哈希恢复,避免重启后全量重算。提供 CLI、兼容 OpenAI…
推荐理由想在本地跑 DeepSeek V4 或 GLM 5.x 的可以直接 clone 试
Hacker News · AI09/26模型技巧与观点海外一个网页工具可将分词器与字体结合,编译出「token 空间字体」,让每个 token 占据相同宽度,从而在视觉上看出文本被如何切分。页面提供 DeepSeek V4.1 Flash × Inter 等预设,支持上传自己的分词器,编译在浏览器本地完成,大分词器可能需数分钟,可下载 TTF、CSS 和构建报告。还给出在 Discord(Vesktop + Vencord 主题)和 Slack 中按用户 ID 应用该字体的步骤,代码块仍用普通等宽字体。
推荐理由想直观理解 token 切分、或做提示词长度调试的人,可直接编译自己模型的字体看切分效果