Nathan Lambert4 天前资讯新模型发布海外Nathan Lambert 与 Florian 在播客中讨论 Kimi K3.1 Pro:基准测试成绩出色,但社区反应分化,部分原因是这次发布伴随更大规模的社交媒体推广,被指付费发帖未披露。节目还讨论开放权重模型与网络安全风险、AI 专家与网络安全专家对近期事件看法分歧、Anthropic 不招初级员工、Abliterated 模型 API 等话题。原文为播客节目介绍,具体观点需听音频。
推荐理由想了解 Kimi K3.1 Pro 为何评测高分却口碑分化,可先看这期播客的讨论框架
Fireworks AI10/12资讯论文研究海外Fireworks 发布技术报告,介绍支撑 Kimi K3 强化学习训练的基础设施,涵盖全参数训练与 rollout 生成、训练与推理一致性、无服务器 LoRA 训练。Kimi K3 为 2.8 万亿参数、100 万 token 上下文的模型,其 LatentMoE 将 FP4 专家分布到多 GPU,需 all-to-all 通信。Fireworks 用自研 MoE Mega Kernel 做通信与计算重叠,包括环形缓冲、微批流水线、量化融合进暂存。同一套设施支撑 Harvey 基于 K3 的法律模型 Tenet,…
推荐理由做大规模 RL 训练的人可看 MoE 通信重叠和 FP4 专家分布的具体做法
OpenAI News09/30资讯政策监管海外OpenAI 披露,7 月初发现并阻断了一场协同模型蒸馏行动,最早活动出现在 7 月第一周。攻击者未破解加密或入侵数据库,而是操纵模型交互,让受保护的推理内容以可见形式被复制,例如把一段对话中的加密推理复制到另一段对话中要求模型解密转写。7 月 24 至 25 日出现高峰,涉及 4000 多名用户的 16000 次请求;相关提示模式活动涉及超 15000 名用户,OpenAI 称已于 7 月 28 日前完全阻断。OpenAI 将核心活动归因于与 Kimi 开发商月之暗面(Moonshot AI)相关的人员,并已通过…
推荐理由了解前沿模型厂商如何界定「对抗性蒸馏」及具体攻击手法与规模数字