AI Radar — 每天的 AI 热点、模型与教程

Hugging Face 发布了 Carbon-X，一个拥有 148 亿参数的开源 DNA 语言模型。Carbon-X 是来自 Hugging Face Bio 的仅解码器模型。它在对话中读取原始 DNA，并用英语作答。它能预测突变是良性还是致病性、标记调控区域、对生物体进行分类并预测下一个碱基。权重以 Apache 2.0 协议发布，因此实验室可以将敏感序列保留在自己的 GPU 上。Hugging Face 与中关村学院以及 TIGEM / 那不勒斯费德里科二世大学合作构建了它。

TL;DR

规模：148 亿参数（稠密，非 MoE），40,960 token 上下文。

运行条件：通过 vLLM 或 Transformers 以 bfloat16 精度在 1 块 80 GB GPU 上运行。官方 GGUF：Q8_0 为 15.8 GB，Q4_K_M 为 9.6 GB。

性能：在 5 项 DNA 基准测试上平均 66.7%，是所有测试过的开源模型中最好的（自报数据）。

最佳：在 BioReason Coding 上达到 74.9%，领先于所有测试过的模型，无论开源还是闭源。

最差：在 GenomeQA 剪接位点问题上为 29.8%。

Carbon-X 是什么，它如何工作？

Carbon-X 从 Qwen3-14B 出发。DNA 和文本在 1 个解码器中共享 1 个 token 流。与 BioReason 等早期工作不同，它没有单独的 DNA 编码器。

关键的结构组件是混合分词器。它保留 Qwen3 的 BPE 词表用于文本，并添加了 5,515 个 DNA token。其中包括 4,096 个不重叠的 6-mer、1,364 个尾部 token 和 3 个标记。一个 DNA token 覆盖 6 个碱基对。长度为 6 个或更多 A/C/G/T 碱基的 DNA 片段会被自动标记。

主干是标准的 Qwen3 堆栈。它有 40 层、隐藏维度 5120，以及带 8 个 KV 头的 GQA。

Carbon-X 是如何训练的？

根据模型卡，训练分四个阶段进行：

嵌入预热：约 100 亿 token，Transformer 冻结，因此只有新的 DNA 嵌入在学习。

中期训练：3020 亿 token，序列长度 8,192。混合比例为 55% 原始 DNA、20% 英语、15% 生物学文本和 10% 指令数据。

SFT：在 20 个数据集子集上训练 3 个 epoch，响应由与领域专家共同构建的确定性验证器检查。

RL：使用 TRL 和 vLLM，进行 2 轮带可验证奖励的异步 GRPO。

根据发布文章，学习率是最难调的参数。高学习率能学会 DNA 但会遗忘英语。较低的学习率、14B 模型和长时间训练解决了这一权衡。直接将 RL 应用于 Qwen3-14B 在 FrontierVEP 上从未超过 50% 的随机基线。

Carbon-X 在 DNA 基准测试上表现如何？

所有分数均由 Hugging Face 自行报告。Carbon-X 在关闭思考模式下运行。竞品在其最佳推理努力下运行。

基准测试Carbon-XGPT-6.1 Sol (Max)Opus 5.5 (Max)Kimi K3 (Low)BioReason 编码74.971.070.353.9BioReason 非 SNV85.191.794.865.3GenomeQA63.667.262.252.0NextBase39.432.91.130.6FrontierVEP70.474.976.250.1平均66.767.560.950.4

Carbon-X 比 Qwen3-14B 高 27 分，比 GPT-6.1 Sol 低 0.8 分。它在编码变异效应和下一碱基预测上领先。前沿模型在复杂变异和单碱基变异上仍然胜出。

拒答影响了这些数字。在 NextBase 上，随着拒答增加，Opus 5.5 从低努力下的 17.7% 降至最高努力下的 1.1%。在 FrontierVEP 上，Gemini 4 Argon 随着努力增加从 58% 降至 38%。

Carbon-X 还保留了通用技能：在 IFEval 上达到 79.3% 的提示级严格准确率。

分词</button><button class="btn gh" id="cx-rst">重置</button></div>

<p class="note">新增 5,515 个 DNA token：4,096 个六聚体、1,364 个尾部 token 和 3 个标记（<dna>、</dna>、<oov>）。上下文：40,960 个 token。</p>

</div>

<p class="lead">基于 <b>Qwen3-14B</b> 分 4 个阶段构建。点击一个阶段。</p>

<div class="st on" data-s="0"><div class="n">01</div><div class="t1">预热</div><div class="t2">约 10B token</div></div>

<div class="st" data-s="1"><div class="n">02</div><div class="t1">中期训练</div><div class="t2">302B token</div></div>

<div class="st" data-s="2"><div class="n">03</div><div class="t1">SFT</div><div class="t2">3 个 epoch</div></div>

</div>

</div>

<p class="lead">Carbon-X 关闭思考模式，对比竞品在其最佳推理努力下的表现。</p>

</div>

<p class="lead">按在 <b>H200 上每小时 $5</b> 的实测吞吐量计价。</p>

<div class="box"><div class="big" id="cx-c1">$0</div><div class="cap">用 Carbon-X 对 240 万个意义不明的 ClinVar 变异进行评分的估计成本。</div></div>

<div class="box"><div class="big" style="color:#a7adbb!important">$32K 至 $4M</div><div class="cap">在 Hugging Face 评估的前沿模型上完成同样的任务，按模型和投入力度计。</div></div>

<div class="box"><div class="big" id="cx-c2">0x</div><div class="cap">每个问题的推理成本低于 GPT-6.1 Sol（模型卡：约为 1/1,800）。</div></div>

<div class="box"><div class="big" id="cx-c3">+0.0</div><div class="cap">Kimi K3 将 Carbon-X 作为子智能体咨询时获得的分数提升（49.4% 至 60.5%）。</div></div>

</div>

<p class="lead">未经临床验证。点击卡片查看详情。</p>

<div class="box"><div class="h">剪接位点 <em>29.8%</em></div><div class="b">GenomeQA 中最弱的任务。组蛋白修饰也较低，为 34.6%。</div></div>

<div class="box"><div class="h">精确操作 <em>!</em></div><div class="b">它可能在长序列中数错碱基或混淆坐标。计数和编辑请使用代码。</div></div>

<div class="box"><div class="h">幻觉 <em>!</em></div><div class="b">在没有上下文的情况下，它可能编造序列的身份。请提供基因、链和注释信息。</div></div>

<div class="box"><div class="h">长序列生成 <em>!</em></div><div class="b">在长 DNA 生成上质量会下降。模型卡称它未经过设计新序列的训练。</div></div>

</div>

<div class="ft"><span>来源：HuggingFaceBio/Carbon-X 模型卡和发布博客</span><span class="mtp">© Marktechpost</span></div>

</div>

(function(){

var R=document.getElementById('mtp-cx');

function post(){try{parent.postMessage({mtpcx:1,h:R.offsetHeight+40},'*')}catch(e){}}

var tabs=R.querySelectorAll('.tab'),pn=R.querySelectorAll('.pnl');

tabs.forEach(function(t){t.onclick=function(){tabs.forEach(function(x){x.classList.remove('on')});pn.forEach(function(x){x.classList.remove('on')});t.classList.add('on');var p=R.querySelector('.pnl[data-i="'+t.dataset.p+'"]');p.classList.add('on');if(t.dataset.p==='2')drawBars(cur);if(t.dataset.p==='3')countUp();setTimeout(post,60)}});

// 分词器

var TOK=[['Describe','t'],['this','t'],['sequence','t'],[':','t'],['<dna>','m'],['ACGTAC','d'],['GATTCA','d'],['TATAAA','d'],['</dna>','m']];

var box=document.getElementById('cx-toks'),timer=[];

function build(){box.innerHTML='';TOK.forEach(function(k){var s=document.createElement('span');s.className='tk '+k[1];s.textContent=k[0];box.appendChild(s)})}

build();

document.getElementById('cx-rst').onclick=function(){timer.forEach(clearTimeout);build()};

// 训练

var ST=[

{h:'Embedding 预热',p:'新的 DNA token 获得随机 embedding。约 10B token 仅训练这些 embedding，transformer 主体保持冻结。',mix:null},

{h:'中期训练：302B token',p:'序列长度 8,192，余弦学习率从 5e-5 降至 5e-6。较低的学习率、14B 模型和长时间训练，使其在学习 DNA 的同时保留了英语能力。',mix:[[55,'#ffb84d','原始 DNA 55%'],[20,'#7cc4ff','英语 20%'],[15,'#FF9D00','生物学文本 15%'],[10,'#FFD21E','指令 10%']]},

{h:'监督微调',p:'在 20 个数据子集上训练 3 个 epoch。变异效应推理约占混合数据的 30%。答案由与领域专家共同构建的确定性验证器检查。',mix:null},

{h:'强化学习',p:'采用异步 GRPO，奖励由代码校验，共 2 轮，每个 prompt 采样 16 个样本。仅在 Qwen3-14B 上做强化学习，在 FrontierVEP 上始终未能超过 50% 的随机基线。',mix:null}];

var det=document.getElementById('cx-det'),sts=R.querySelectorAll('.st');

function showSt(i){sts.forEach(function(s){s.classList.toggle('on',s.dataset.s==i)});var s=ST[i],h='<div style="font-weight:700;font-size:15px;color:#FFD21E">'+s.h+'</div><div class="cap" style="font-size:13px">'+s.p+'</div>';

if(s.mix){h+='<div class="mix">'+s.mix.map(function(m){return '<i style="background:'+m[1]+'" data-w="'+m[0]+'"></i>'}).join('')+'</div><div class="leg">'+s.mix.map(function(m){return '<span style="--c:'+m[1]+'">'+m[2]+'</span>'}).join('')+'</div>'}

det.innerHTML=h;if(s.mix)setTimeout(function(){det.querySelectorAll('.mix i').forEach(function(x){x.style.width=x.dataset.w+'%'})},40);setTimeout(post,60)}

sts.forEach(function(s){s.onclick=function(){showSt(+s.dataset.s)}});showSt(0);

// 基准测试

var M=['Carbon-X','GPT-6.1 Sol (Max)','Opus 5.5 (Max)','Gemini 4 Argon (Low)','Kimi K3 (Low)','DeepSeek V4.1 Flash (Low)','GLM-5.3 (Low)'];

var B={'Average':[66.7,67.5,60.9,49.8,50.4,47.1,39.8],'BioReason Coding':[74.9,71.0,70.3,6.5,53.9,51.4,52.1],'BioReason Non-SNV':[85.1,91.7,94.8,90.3,65.3,55.9,60.1],'GenomeQA':[63.6,67.2,62.2,63.1,52.0,49.7,44.6],'NextBase':[39.4,32.9,1.1,31.2,30.6,27.2,9.7],'FrontierVEP':[70.4,74.9,76.2,58.0,50.1,51.3,32.7]};

var N={'Average':'Carbon-X 落后 GPT-6.1 Sol 0.8 分，比 Qwen3-14B 高 27 分。','BioReason Coding':'编码变异效应，1,018 个变异。Carbon-X 领先所有被测模型。','BioReason Non-SNV':'插入、缺失及其他非 SNV 变异，873 个变异。Opus 5.5 领先。','GenomeQA':'覆盖 6 项任务的 2,600 道选择题。GPT-6.1 Sol 领先。','NextBase':'下一碱基预测，600 条序列。Carbon-X 领先；随着拒答增多，Opus 5.5 表现崩塌。','FrontierVEP':'单碱基变异，上下文最长 8,192 个碱基，1,000 个变异。Opus 5.5 领先。'};

var cur='Average',bs=document.getElementById('cx-bsel'),bars=document.getElementById('cx-bars');

Object.keys(B).forEach(function(k){var b=document.createElement('button');b.textContent=k;if(k===cur)b.className='on';b.onclick=function(){bs.querySelectorAll('button').forEach(function(x){x.className=''});b.className='on';cur=k;drawBars(k)};bs.appendChild(b)});

function drawBars(k){var v=B[k];bars.innerHTML=M.map(function(m,i){var me=i===0?' me':'';return '<div class="bar"><div class="nm'+me+'" title="'+m+'">'+m+'</div><div class="tr"><div class="fl'+me+'" data-w="'+v[i]+'"></div></div><div class="v">'+v[i].toFixed(1)+'</div></div>'}).join('');

setTimeout(function(){bars.querySelectorAll('.fl').forEach(function(f){f.style.width=f.dataset.w+'%'})},40);document.getElementById('cx-bnote').textContent=N[k];setTimeout(post,60)}

drawBars(cur);

// cost

function anim(el,to,fmt){var t0=null;function f(ts){if(!t0)t0=ts;var p=Math.min(1,(ts-t0)/1000),e=1-Math.pow(1-p,3);el.textContent=fmt(to*e);if(p<1)requestAnimationFrame(f)}requestAnimationFrame(f)}

function countUp(){anim(document.getElementById('cx-c1'),300,function(x){return '$'+Math.round(x)});anim(document.getElementById('cx-c2'),1800,function(x){return '~'+Math.round(x).toLocaleString('en-US')+'x'});anim(document.getElementById('cx-c3'),11.1,function(x){return '+'+x.toFixed(1)})}

// limits

R.querySelectorAll('.lim .box').forEach(function(b){b.onclick=function(){b.classList.toggle('open');setTimeout(post,380)}});

window.addEventListener('load',post);window.addEventListener('resize',post);setTimeout(post,300);

})();

</script>

</body></html>

" style="width:100%;height:600px;border:0;display:block;background:transparent;" loading="lazy">

运行 Carbon-X 的成本是多少？

Hugging Face 按 Carbon-X 在 H200 上实测的吞吐量定价，为每小时 5 美元。据此，它报告每个问题的推理成本约为 GPT-6.1 Sol 的 1/1,800。对 240 万个意义未明的 ClinVar 变异进行评分大约需要 300 美元。同样的任务在前沿模型上需要 32,000 美元到 400 万美元。

Carbon-X 也可以作为子智能体使用。Kimi K3 在咨询 Carbon-X 后，其 DNA 指数从 49.4% 上升到 60.5%。

如何部署 Carbon-X？

vLLM：在 1 块 80 GB GPU 上运行 vllm serve HuggingFaceBio/Carbon-X --trust-remote-code。

Transformers：v5 或更高版本，并为 DNA 分词器设置 trust_remote_code=True。

llama.cpp：官方 Carbon-X-GGUF 仓库需要 llama.cpp b11742 或更新版本。旧版本会错误地对 DNA 进行分词。

智能体：该仓库附带一个 OpenAI 风格的工具、一个 Inspect 智能体，以及一个供编码智能体使用的 carbon-dna 技能。

保持 enable_thinking=False。该模型是以这种方式进行后训练和评估的。

Carbon-X 与其他 DNA 模型和通用模型相比如何？

特性Carbon-XQwen3-14BGPT-6.1 SolEvo 2 40B开发者Hugging Face + 合作伙伴Alibaba QwenOpenAIArc Institute参数量14.8B14.8B未披露40B上下文40,960 tokens原生 32,768，使用 YaRN 时 131,072未披露最高 1M 序列长度输入DNA + 英文文本文本（通用）仅 DNA用英文回答是是是否许可证Apache 2.0Apache 2.0专有，仅 APIApache 2.0DNA 平均（HF 评测）66.7%~40.0%67.5%（Max）未评测BioReason Coding74.9%未披露71.0%未评测价格开放权重开放权重每 100 万输入 / 输出 tokens 2 美元 / 10 美元开放权重

要点

Carbon-X 是一个 14.8B 的开放模型，能读取 DNA 并用英文回答。

它在 5 项 DNA 基准测试上平均得分 66.7%，落后 GPT-6.1 Sol 0.8 分。

它在 BioReason Coding（74.9%）和 NextBase（39.4%）上领先所有受测模型。

它可在 1 块 80 GB GPU 上运行，或使用 15.8 GB 的 Q8_0 GGUF。

剪接位点准确率为 29.8%，且未经过临床验证。

查看模型卡、发布博客、GGUF 权重和 GitHub 仓库。另外，欢迎在 Twitter 上关注我们，别忘了加入我们 150k+ 的 ML SubReddit 并订阅我们的 Newsletter。等等！你在 Telegram 上吗？现在你也可以在 Telegram 上加入我们。

需要与我们合作推广你的 GitHub 仓库、Hugging Face 页面、产品发布或网络研讨会等？联系我们

文章《Hugging Face Releases Carbon-X, a 14B Open DNA Language Model that Brings DNA and Natural Language Together for the First Time》首发于 MarkTechPost。

Hugging Face 开源 14.8B DNA 语言模型 Carbon-X

1 个独立信源

相关条目