AI模型发布/更新09/27 19:0178
英伟达发布免费 1 亿参数说话人分离模型 Nemotron 3 Diarization
原题:Nvidia drops a free 100M-parameter model that identifies up to eight speakers in real time
英伟达发布 Nemotron 3 Diarization,一个约 1 亿参数、权重免费开放的说话人分离模型,可实时识别最多 8 位说话人,并检测多人同时说话。在 VoiceArena Diarization Benchmark v1 上以 14.7% 的 DER 排名第一,领先第二名 19.3%;相比前代 Streaming Sortformer 在 8 个测试场景中平均降低 41% 错误率。音频缓冲可设为 30.4 至 0.32 秒四档,缓冲越短准确率越低。搭配 Parakeet 等语音识别系统可生成带说话人标签的转写,但标签为 speaker_2 这类匿名标识。支持录音和实时音频。背景噪音、混响或说话人更多时错误率会上升。
推荐理由权重免费、DER 14.7% 当前第一,做会议转写或实时字幕可直接拿来用
跳转到内容
Nvidia 发布了 Nemotron 3 Diarization,这是一个 AI 模型,能够识别对话中任意时刻正在说话的是哪位说话人。该模型约有 1 亿个参数,其权重可免费获取。它最多能区分八位说话人,并能检测出多人同时说话的情况。参与者更多、背景噪声严重或混响都会推高错误率。搭配像 Parakeet 这样的语音识别系统,该模型可以生成带说话人标签的转录文本,不过标签只是诸如“speaker_2”这样的匿名标识。它既适用于录音,也适用于实时音频。
在 VoiceArena Diarization Benchmark v1 中,可免费获取的 Nemotron 3 以 14.7% 的 DER 领先,并比其前代 Streaming Sortformer 高出 41%。
音频缓冲区可设置为四个级别,从 30.4 秒到 0.32 秒不等。较短的缓冲区通常会降低准确率。在VoiceArena 的 Diarization-Bench上,该模型目前以 14.72% 的错误率位居第一,领先于次优系统的 19.3%。该基准测试很严格。重叠语音会被计入,甚至连说话人切换处的微小错位也会被记为错误。与其前代 Streaming Sortformer 相比,新模型在使用 1.04 秒缓冲区时,在八个测试场景中将错误率平均降低了 41%。
没有炒作的 AI 新闻——由人类精选
订阅 THE DECODER,享受无广告阅读、每周 AI 新闻简报、每年六期独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权限。
立即订阅
1 个独立信源
标题与摘要由 AI(deepseek-chat)改写,可能有误,以原文为准。