重新审视3D CT报告生成中的LLM适配：关于缩放与诊断先验的研究
该研究针对体积CT报告生成，提出了一种轻量级诊断先验条件框架RAD3D-Prefix，通过冻结大型语言模型（LLM）并仅训练投影层，实现了参数高效适配。实验表明，对于参数超过10亿的LLM，冻结模型并训练轻量投影层比全面微调更具优势，在自动指标和临床读者研究中均表现出色，且具有良好的跨领域泛化能力。
近年来，多模态学习尤其是大型语言模型（LLM）和视觉语言模型（VLM）在自然图像领域展现出强大的适应能力。然而，将这些模型拓展至医学领域，特别是用于处理体积（3D）图像时，面临着诸多挑战：计算复杂度高、体积依赖性显著，以及视觉特征与临床术语之间存在的语义鸿沟。直接在有限的小规模医学数据上对LLM进行微调，往往会导致过拟合和临床幻觉现象——模型更倾向于生成流畅的语言表达，而非确保临床事实的准确性。
针对上述问题，Vanshali Sharma等研究者提出了一种名为RAD3D-Prefix的轻量级诊断先验条件框架。该框架旨在通过最少的参数训练实现高效适配，其核心思想是将图像嵌入与多标签诊断分类逻辑相融合。具体而言，RAD3D-Prefix模块通过整合图像的多标签诊断概率，在保留关键临床细节的同时，有效地弥合了视觉特征与临床描述之间的语义差距。更重要的是，该方法在训练过程中保持LLM主体冻结，仅训练少量可学习的投影层参数，从而大大降低了在小型领域特定数据集上过拟合的风险。
为了验证RAD3D-Prefix的有效性，研究团队在参数规模从9610万到16亿不等的多个LLM上进行了系统性实验。实验结果表明，微调策略对于参数规模较小（如低于10亿）的LLM更为有益；而对于参数规模大约在10亿及以上的大型LLM，保持模型冻结并仅训练轻量级投影层，能够在性能、泛化能力和计算效率之间取得更优的平衡。在多个自动评估指标以及临床读者研究中，RAD3D-Prefix均优于其他参数高效的基线方法。值得注意的是，该方法在仅使用远少于完全微调方法的可训练参数的情况下，展现出了强大的跨领域泛化能力。
这项研究的深层意义在于，它为LLM在医学影像报告生成中的实际应用提供了一条新的思路：通过巧妙地利用诊断先验信息，并结合参数高效微调策略，即使在小规模数据集上也能达到优秀的性能。这不仅降低了计算资源的消耗，也为未来在更广泛的医学影像分析任务中部署大型语言模型提供了有价值的参考。随着医学影像数据量的不断增加和模型规模的持续扩大，这种权衡模型复杂度与临床实用性的方法，有望成为推动AI辅助诊断深入发展的关键一步。