Hugging Face 正式发布了 Carbon-X，这是一个拥有 14.8B 参数的开源 DNA 语言模型。Carbon-X 出自 Hugging Face Bio，是一个仅解码器（decoder-only）架构的模型。它可以在聊天界面中直接读取原始 DNA 序列，并用英文作答，例如判断某个突变是良性还是致病、标记调控区域、对物种进行分类，以及预测下一个碱基。模型权重以 Apache 2.0 协议发布，这意味着实验室可以把敏感序列留在自己的 GPU 上运行，而不必上传到第三方 API。Hugging Face 与中关村学院（Zhongguancun Academy）以及 TIGEM / 那不勒斯费德里科二世大学（University of Naples Federico II）合作完成了这一模型。
TL;DR
规模：14.8B 参数（稠密模型，非 MoE），上下文长度 40,960 token。
运行环境：在 1 块 80 GB GPU 上以 bfloat16 精度运行，可通过 vLLM 或 Transformers 加载。官方 GGUF 版本中，Q8_0 为 15.8 GB，Q4_K_M 为 9.6 GB。
性能：在 5 项 DNA 基准测试上平均得分 66.7%，是所有被测开源模型中最好的（数据为自行报告）。
最佳：BioReason Coding 上达到 74.9%，领先于所有被测模型，无论开源还是闭源。
最差：GenomeQA 剪接位点问题上仅为 29.8%。
Carbon-X 是什么，又是如何工作的？
Carbon-X 以 Qwen3-14B 为起点。DNA 与文本共享同一个 token 流，运行在同一个解码器中。与早期工作（例如 BioReason）不同，它没有单独的 DNA 编码器。
关键的结构设计是混合分词器（hybrid tokenizer）。它保留 Qwen3 的 BPE 词表用于文本，同时新增了 5,515 个 DNA token。这些 token 包括 4,096 个不重叠的 6-mer、1,364 个尾部 token 以及 3 个标记符。一个 DNA token 覆盖 6 个碱基对。长度在 6 个及以上、仅由 A/C/G/T 组成的 DNA 片段会被自动标记出来。
主干网络是标准的 Qwen3 堆栈：40 层，隐藏维度 5120，采用 GQA，含 8 个 KV 头。
Carbon-X 是如何训练的？
根据模型卡，训练分为四个阶段：
嵌入预热（Embedding warmup）：约 10B token，冻结 Transformer，只让新增的 DNA 嵌入进行学习。
中期训练（Mid-training）：302B token，序列长度 8,192。数据混合比例为 55% 原始 DNA、20% 英文、15% 生物学文本和 10% 指令数据。
SFT：在 20 个数据子集上训练 3 个 epoch，回答由与领域专家共同构建的确定性验证器进行校验。
RL：采用异步 GRPO，配合可验证奖励，进行 2 轮训练，使用 TRL 与 vLLM。
根据发布文章，学习率是最难调的超参数。学习率过高时模型学会了 DNA，却遗忘了英文。采用较低的学习率、14B 规模的模型以及更长的训练时间，才解决了这一取舍。直接把 RL 应用于 Qwen3-14B，在 FrontierVEP 上始终无法超过 50% 的随机基线。
Carbon-X 在 DNA 基准测试上表现如何？
所有分数均由 Hugging Face 自行报告。Carbon-X 在关闭思考（thinking disabled）的模式下运行，竞争对手则以其最佳推理强度运行。
基准测试 Carbon-X / GPT-6.1 Sol (Max) / Opus 5.5 (Max) / Kimi K3 (Low)
BioReason Coding：74.9 / 71.0 / 70.3 / 53.9
BioReason Non-SNV：85.1 / 91.7 / 94.8 / 65.3
GenomeQA：63.6 / 67.2 / 62.2 / 52.0
NextBase：39.4 / 32.9 / 1.1 / 30.6
FrontierVEP：70.4 / 74.9 / 76.2 / 50.1
平均：66.7 / 67.5 / 60.9 / 50.4
Carbon-X 比 Qwen3-14B 高出约 27 个百分点，比 GPT-6.1 Sol 低 0.8 个百分点。它在编码变异效应和下一碱基预测上领先。前沿模型在复杂变异和单碱基变异上仍然占优。
拒答行为会影响这些数字。在 NextBase 上，Opus 5.5 在低推理强度下为 17.7%，到最高强度时降至 1.1%，原因是拒答增多。Gemini 4 Argon 在 FrontierVEP 上随着推理强度提高，从 58% 跌至 38%。
Carbon-X 也保留了通用能力：IFEval 上提示级严格准确率为 79.3%。
运行 Carbon-X 的成本是多少？
Hugging Face 以 H200 上的实测吞吐量计价，每小时 5 美元。据此，它报告每个问题的推理成本约为 GPT-6.1 Sol 的 1/1,800。为 ClinVar 中 240 万个意义不明的变异（VUS）打分，成本约为 300 美元。同样的任务在前沿模型上需要 32,000 美元到 400 万美元。
Carbon-X 还可以作为子代理（sub-agent）使用。当 Kimi K3 咨询 Carbon-X 后，其 DNA 指数从 49.4% 提升到 60.5%。
如何部署 Carbon-X？
vLLM：在 1 块 80 GB GPU 上运行 vllm serve HuggingFaceBio/Carbon-X --trust-remote-code。
Transformers：需要 v5 或更高版本，并为 DNA 分词器设置 trust_remote_code=True。
llama.cpp：官方 Carbon-X-GGUF 仓库需要 llama.cpp b11742 或更新版本。更旧的构建会错误地对 DNA 进行分词。
Agent：仓库附带一个 OpenAI 风格的工具、一个 Inspect agent，以及供编码代理使用的 carbon-dna skill。
务必保持 enable_thinking=False。模型是在该设置下进行后训练和评估的。
Carbon-X 与其他 DNA 模型及通用模型相比如何？
特性对比：Carbon-X / Qwen3-14B / GPT-6.1 Sol / Evo 2 40B
开发者：Hugging Face 及合作伙伴 / 阿里巴巴 Qwen / OpenAI / Arc Institute
参数量：14.8B / 14.8B / 未披露 / 40B
上下文：40,960 token / 原生 32,768，YaRN 下 131,072 / 未披露 / 最长 100 万序列长度
输入：DNA + 英文 / 文本 / 文本（通用）/ 仅 DNA
是否用英文作答：是 / 是 / 是 / 否
许可证：Apache 2.0 / Apache 2.0 / 专有，仅 API / Apache 2.0
DNA 平均分（HF 评测）：66.7% / 约 40.0% / 67.5%（Max）/ 未评测
BioReason Coding：74.9% / 未披露 / 71.0% / 未评测
价格：开放权重 / 开放权重 / 每 100 万输入/输出 token 分别为 2 美元 / 10 美元 / 开放权重
关键要点
Carbon-X 是一个 14.8B 的开源模型，能读取 DNA 并用英文作答。
它在 5 项 DNA 基准上平均得分 66.7%，落后 GPT-6.1 Sol 0.8 个百分点。
它在 BioReason Coding（74.9%）和 NextBase（39.4%）上领先所有被测模型。
它可运行在 1 块 80 GB GPU 上，也可使用 15.8 GB 的 Q8_0 GGUF。
剪接位点准确率为 29.8%，且尚未经过临床验证。
可查阅模型卡、发布博客、GGUF 权重和 GitHub 仓库。也欢迎在 Twitter 上关注我们，加入我们拥有 15 万+ 成员的 ML SubReddit，并订阅我们的新闻简报。等等！你也在 Telegram 上吗？现在你也可以加入我们的 Telegram。
需要与我们合作推广你的 GitHub 仓库、Hugging Face 页面、产品发布、网络研讨会等？请联系我们。
这篇文章《Hugging Face 发布 Carbon-X：首个将 DNA 与自然语言结合在一起的 14B 开源 DNA 语言模型》最初发表于 MarkTechPost。