生物醫學文獻挖掘長期面臨一個現實難題：以BioBERT、ClinicalBERT為代表的大型領域專用語言模型雖然在PICO（Population, Intervention, Comparison, Outcome）分類等專業任務上表現突出，但計算開銷和推理延遲讓它們難以進入實際部署；而DistilBERT這類通用輕量模型雖然引數更少、便於上線，卻缺乏處理醫學文本所需的深層領域知識。Girish Sundaram等人近期提交至arXiv的論文嘗試打破這一取捨，提出“蒸餾快速嵌入遷移”（Distilled Rapid Embedding Transfer，DRET），讓小型通用模型直接從大型專用模型中吸收生物醫學知識。
DRET的核心思路是避免在原始大型生物醫學語料上重新訓練。BioBERT和ClinicalBERT的知識源於大規模專業預訓練，若要把這些知識轉移給DistilBERT，傳統做法往往成本高昂，甚至需要再次訪問原始語料。DRET則是在嵌入層面完成遷移，並以多個迭代版本逐步完善：DRET 1.x採用統一分詞器合併策略，使師生模型先共享更一致的詞表；DRET 2.0使用混合嵌入平均，將來源模型的嵌入資訊以加權方式融入目標模型。DRET 3.x進一步實現了基於優先順序的嵌入遷移，按層次從最具權威性的來源模型中選取嵌入，而不是對所有資訊一視同仁。後續的DRET 4.x又加入嵌入層凍結、差異化學習率、標籤傳播和類別不平衡感知損失函式，使遷移過程更加穩定，並有效應對醫學語料中常見的標籤分佈嚴重不均衡。
為了驗證DRET的有效性，作者在類別極不均衡的EBM-NLP語料上進行了token級PICO分類實驗，並採用覆蓋12項指標的評測體系。結果令人印象深刻：經DRET增強的DistilBERT只有6600萬引數，卻在平衡準確率、召回率和ROC-AUC上達到與大一個數量級的模型相同或更高的水平，尤其在某些類別的逐類指標上實現了反超。與此同時，由於骨幹模型仍是DistilBERT，推理效率沒有明顯損失。作者還透過餘弦相似度、語義偏移和t-SNE視覺化等方式進一步確認，知識遷移並非僅發生在輸出層或任務分類頭，而是真實地作用於嵌入層。這為DRET為何能以極小引數量逼近領域專家模型提供了直接證據。
論文於2026年7月4日以v1版本提交至arXiv，編號為2609.02898，歸類於計算與語言（cs.CL），正文共11頁，包含5幅圖和6張表，並提供了完整的DOI。作者指出，DRET的直接落點包括自動化系統綜述和臨床決策支援——這兩類應用通常需要在有限算力預算下快速處理海量醫學文獻。對於資源受限的機構或產品團隊而言，DRET路徑可能意味著無需維護龐大模型，也能獲得接近領域專家級別的文本挖掘效果。未來的工作還可以進一步探索不同的師生模型組合、更復雜的嵌入選擇策略，以及在更大規模語料上的泛化表現。