生物医学文献挖掘长期面临一个现实难题：以BioBERT、ClinicalBERT为代表的大型领域专用语言模型虽然在PICO（Population, Intervention, Comparison, Outcome）分类等专业任务上表现突出，但计算开销和推理延迟让它们难以进入实际部署；而DistilBERT这类通用轻量模型虽然参数更少、便于上线，却缺乏处理医学文本所需的深层领域知识。Girish Sundaram等人近期提交至arXiv的论文尝试打破这一取舍，提出“蒸馏快速嵌入迁移”（Distilled Rapid Embedding Transfer，DRET），让小型通用模型直接从大型专用模型中吸收生物医学知识。
DRET的核心思路是避免在原始大型生物医学语料上重新训练。BioBERT和ClinicalBERT的知识源于大规模专业预训练，若要把这些知识转移给DistilBERT，传统做法往往成本高昂，甚至需要再次访问原始语料。DRET则是在嵌入层面完成迁移，并以多个迭代版本逐步完善：DRET 1.x采用统一分词器合并策略，使师生模型先共享更一致的词表；DRET 2.0使用混合嵌入平均，将来源模型的嵌入信息以加权方式融入目标模型。DRET 3.x进一步实现了基于优先级的嵌入迁移，按层次从最具权威性的来源模型中选取嵌入，而不是对所有信息一视同仁。后续的DRET 4.x又加入嵌入层冻结、差异化学习率、标签传播和类别不平衡感知损失函数，使迁移过程更加稳定，并有效应对医学语料中常见的标签分布严重不均衡。
为了验证DRET的有效性，作者在类别极不均衡的EBM-NLP语料上进行了token级PICO分类实验，并采用覆盖12项指标的评测体系。结果令人印象深刻：经DRET增强的DistilBERT只有6600万参数，却在平衡准确率、召回率和ROC-AUC上达到与大一个数量级的模型相同或更高的水平，尤其在某些类别的逐类指标上实现了反超。与此同时，由于骨干模型仍是DistilBERT，推理效率没有明显损失。作者还通过余弦相似度、语义偏移和t-SNE可视化等方式进一步确认，知识迁移并非仅发生在输出层或任务分类头，而是真实地作用于嵌入层。这为DRET为何能以极小参数量逼近领域专家模型提供了直接证据。
论文于2026年7月4日以v1版本提交至arXiv，编号为2609.02898，归类于计算与语言（cs.CL），正文共11页，包含5幅图和6张表，并提供了完整的DOI。作者指出，DRET的直接落点包括自动化系统综述和临床决策支持——这两类应用通常需要在有限算力预算下快速处理海量医学文献。对于资源受限的机构或产品团队而言，DRET路径可能意味着无需维护庞大模型，也能获得接近领域专家级别的文本挖掘效果。未来的工作还可以进一步探索不同的师生模型组合、更复杂的嵌入选择策略，以及在更大规模语料上的泛化表现。