Hugging Face 正式釋出了 Carbon-X，這是一個擁有 14.8B 引數的開源 DNA 語言模型。Carbon-X 出自 Hugging Face Bio，是一個僅解碼器（decoder-only）架構的模型。它可以在聊天介面中直接讀取原始 DNA 序列，並用英文作答，例如判斷某個突變是良性還是致病、標記調控區域、對物種進行分類，以及預測下一個鹼基。模型權重以 Apache 2.0 協議釋出，這意味著實驗室可以把敏感序列留在自己的 GPU 上執行，而不必上傳到第三方 API。Hugging Face 與中關村學院（Zhongguancun Academy）以及 TIGEM / 那不勒斯費德里科二世大學（University of Naples Federico II）合作完成了這一模型。
TL;DR
規模：14.8B 引數（稠密模型，非 MoE），上下文長度 40,960 token。
執行環境：在 1 塊 80 GB GPU 上以 bfloat16 精度執行，可透過 vLLM 或 Transformers 載入。官方 GGUF 版本中，Q8_0 為 15.8 GB，Q4_K_M 為 9.6 GB。
效能：在 5 項 DNA 基準測試上平均得分 66.7%，是所有被測開源模型中最好的（資料為自行報告）。
最佳：BioReason Coding 上達到 74.9%，領先於所有被測模型，無論開源還是閉源。
最差：GenomeQA 剪接位點問題上僅為 29.8%。
Carbon-X 是什麼，又是如何工作的？
Carbon-X 以 Qwen3-14B 為起點。DNA 與文本共享同一個 token 流，執行在同一個解碼器中。與早期工作（例如 BioReason）不同，它沒有單獨的 DNA 編碼器。
關鍵的結構設計是混合分詞器（hybrid tokenizer）。它保留 Qwen3 的 BPE 詞表用於文本，同時新增了 5,515 個 DNA token。這些 token 包括 4,096 個不重疊的 6-mer、1,364 個尾部 token 以及 3 個標記符。一個 DNA token 覆蓋 6 個鹼基對。長度在 6 個及以上、僅由 A/C/G/T 組成的 DNA 片段會被自動標記出來。
主幹網路是標準的 Qwen3 堆疊：40 層，隱藏維度 5120，採用 GQA，含 8 個 KV 頭。
Carbon-X 是如何訓練的？
根據模型卡，訓練分為四個階段：
嵌入預熱（Embedding warmup）：約 10B token，凍結 Transformer，只讓新增的 DNA 嵌入進行學習。
中期訓練（Mid-training）：302B token，序列長度 8,192。資料混合比例為 55% 原始 DNA、20% 英文、15% 生物學文本和 10% 指令資料。
SFT：在 20 個資料子集上訓練 3 個 epoch，回答由與領域專家共同構建的確定性驗證器進行校驗。
RL：採用非同步 GRPO，配合可驗證獎勵，進行 2 輪訓練，使用 TRL 與 vLLM。
根據釋出文章，學習率是最難調的超引數。學習率過高時模型學會了 DNA，卻遺忘了英文。採用較低的學習率、14B 規模的模型以及更長的訓練時間，才解決了這一取捨。直接把 RL 應用於 Qwen3-14B，在 FrontierVEP 上始終無法超過 50% 的隨機基線。
Carbon-X 在 DNA 基準測試上表現如何？
所有分數均由 Hugging Face 自行報告。Carbon-X 在關閉思考（thinking disabled）的模式下執行，競爭對手則以其最佳推理強度執行。
基準測試 Carbon-X / GPT-6.1 Sol (Max) / Opus 5.5 (Max) / Kimi K3 (Low)
BioReason Coding：74.9 / 71.0 / 70.3 / 53.9
BioReason Non-SNV：85.1 / 91.7 / 94.8 / 65.3
GenomeQA：63.6 / 67.2 / 62.2 / 52.0
NextBase：39.4 / 32.9 / 1.1 / 30.6
FrontierVEP：70.4 / 74.9 / 76.2 / 50.1
平均：66.7 / 67.5 / 60.9 / 50.4
Carbon-X 比 Qwen3-14B 高出約 27 個百分點，比 GPT-6.1 Sol 低 0.8 個百分點。它在編碼變異效應和下一鹼基預測上領先。前沿模型在複雜變異和單鹼基變異上仍然佔優。
拒答行為會影響這些數字。在 NextBase 上，Opus 5.5 在低推理強度下為 17.7%，到最高強度時降至 1.1%，原因是拒答增多。Gemini 4 Argon 在 FrontierVEP 上隨著推理強度提高，從 58% 跌至 38%。
Carbon-X 也保留了通用能力：IFEval 上提示級嚴格準確率為 79.3%。
執行 Carbon-X 的成本是多少？
Hugging Face 以 H200 上的實測吞吐量計價，每小時 5 美元。據此，它報告每個問題的推理成本約為 GPT-6.1 Sol 的 1/1,800。為 ClinVar 中 240 萬個意義不明的變異（VUS）打分，成本約為 300 美元。同樣的任務在前沿模型上需要 32,000 美元到 400 萬美元。
Carbon-X 還可以作為子代理（sub-agent）使用。當 Kimi K3 諮詢 Carbon-X 後，其 DNA 指數從 49.4% 提升到 60.5%。
如何部署 Carbon-X？
vLLM：在 1 塊 80 GB GPU 上執行 vllm serve HuggingFaceBio/Carbon-X --trust-remote-code。
Transformers：需要 v5 或更高版本，併為 DNA 分詞器設定 trust_remote_code=True。
llama.cpp：官方 Carbon-X-GGUF 倉庫需要 llama.cpp b11742 或更新版本。更舊的構建會錯誤地對 DNA 進行分詞。
Agent：倉庫附帶一個 OpenAI 風格的工具、一個 Inspect agent，以及供編碼代理使用的 carbon-dna skill。
務必保持 enable_thinking=False。模型是在該設定下進行後訓練和評估的。
Carbon-X 與其他 DNA 模型及通用模型相比如何？
特性對比：Carbon-X / Qwen3-14B / GPT-6.1 Sol / Evo 2 40B
開發者：Hugging Face 及合作伙伴 / 阿里巴巴 Qwen / OpenAI / Arc Institute
引數量：14.8B / 14.8B / 未披露 / 40B
上下文：40,960 token / 原生 32,768，YaRN 下 131,072 / 未披露 / 最長 100 萬序列長度
輸入：DNA + 英文 / 文本 / 文本（通用）/ 僅 DNA
是否用英文作答：是 / 是 / 是 / 否
許可證：Apache 2.0 / Apache 2.0 / 專有，僅 API / Apache 2.0
DNA 平均分（HF 評測）：66.7% / 約 40.0% / 67.5%（Max）/ 未評測
BioReason Coding：74.9% / 未披露 / 71.0% / 未評測
價格：開放權重 / 開放權重 / 每 100 萬輸入/輸出 token 分別為 2 美元 / 10 美元 / 開放權重
關鍵要點
Carbon-X 是一個 14.8B 的開源模型，能讀取 DNA 並用英文作答。
它在 5 項 DNA 基準上平均得分 66.7%，落後 GPT-6.1 Sol 0.8 個百分點。
它在 BioReason Coding（74.9%）和 NextBase（39.4%）上領先所有被測模型。
它可執行在 1 塊 80 GB GPU 上，也可使用 15.8 GB 的 Q8_0 GGUF。
剪接位點準確率為 29.8%，且尚未經過臨床驗證。
可查閱模型卡、釋出部落格、GGUF 權重和 GitHub 倉庫。也歡迎在 Twitter 上關注我們，加入我們擁有 15 萬+ 成員的 ML SubReddit，並訂閱我們的新聞簡報。等等！你也在 Telegram 上嗎？現在你也可以加入我們的 Telegram。
需要與我們合作推廣你的 GitHub 倉庫、Hugging Face 頁面、產品釋出、網路研討會等？請聯絡我們。
這篇文章《Hugging Face 釋出 Carbon-X：首個將 DNA 與自然語言結合在一起的 14B 開源 DNA 語言模型》最初發表於 MarkTechPost。