跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

TaxDistill:通過蒸餾基因組基礎模型改進宏基因組分類註釋

文章摘要

宏基因組分類註釋旨在識別環境樣本中DNA片段的微生物起源。傳統方法依賴序列相似性,受限於微生物多樣性和參考數據庫的不完整性。TaxDistill提出一種知識蒸餾框架,利用500M參數的基因組基礎模型GenomeOcean作為教師網絡提取深層語義特徵並生成基於置信度的軟標籤,將軟標籤信息蒸餾到輕量級學生網絡中,有效減少初始檢索工具引入的標籤噪聲。在七個CAMI2數據集上的實驗表明,TaxDistill在多數場景下優於現有基線,例如在胃腸道數據集上將MMseqs2的F1分數從0.763提升至0.941。

來源arXiv Machine Learning作者: Rongye Ye, Lun Li, Zheng Luo, Yiran Zhan, Shuhui Song
TaxDistill:通過蒸餾基因組基礎模型改進宏基因組分類註釋
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

宏基因組學通過直接測序環境樣本中的DNA來研究微生物羣落,而宏基因組分類註釋的任務是確定這些DNA片段的微生物來源。傳統方法如BLAST和MMseqs2依賴於序列相似性比對,但面對高度多樣化的微生物羣落和不完整的參考數據庫時往往力不從心。近年來,機器學習方法如Taxometer通過事後校正來學習更有效的序列表示,但這些方法通常依賴相似性搜索工具生成的標籤進行訓練,不可避免地引入了噪聲,損害了表示學習和分類性能。

為了克服這一挑戰,研究人員提出了TaxDistill,一種基於知識蒸餾的宏基因組分類框架。該框架的核心是引入了一個名為GenomeOcean的基因組基礎模型,該模型擁有5億參數,能夠從基因組序列中提取深層語義特徵。GenomeOcean作為教師網絡,為每個DNA片段生成基於置信度的軟標籤,這些軟標籤比硬標籤(即直接來自檢索工具的標籤)包含更豐富的概率信息和更少的噪聲。隨後,一個輕量級的學生網絡通過蒸餾學習教師網絡的軟標籤,從而有效抑制了初始檢索工具引入的標籤噪聲。

TaxDistill的優越性在七個來自CAMI2(Critical Assessment of Metagenome Interpretation)的多樣化數據集上得到了驗證。實驗結果顯示,TaxDistill在大多數場景下均優於MMseqs2、Taxometer等現有基線。例如,在胃腸道數據集上,TaxDistill將MMseqs2的F1分數從0.763提升到了0.941,顯著超過了Taxometer的性能。此外,TaxDistill在保持高準確性的同時,計算效率也優於許多深度學習方法。

這項工作為複雜宏基因組分析中的標籤校正提供了一種可靠的方法。知識蒸餾框架不僅減少了噪聲標籤的影響,還使得輕量級模型能夠接近大型教師模型的性能,從而在實際應用中更具可行性。未來,TaxDistill有望與更多基因組基礎模型結合,進一步提升宏基因組分類註釋的精度和魯棒性。

展開要點與分析

文章情報

工程師進階

要點

  • TaxDistill利用知識蒸餾減少宏基因組分類中的標籤噪聲
  • 引入500M參數的基因組基礎模型GenomeOcean作為教師網絡
  • 在七個CAMI2數據集上超越現有基線
  • 胃腸道數據集上F1分數從0.763提升至0.941

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。

TaxDistill:通過蒸餾基因組基礎模型改進宏基因組分類註釋 | AI News Hub