重新審視3D CT報告生成中的LLM適配：關於縮放與診斷先驗的研究
該研究針對體積CT報告生成，提出了一種輕量級診斷先驗條件框架RAD3D-Prefix，通過凍結大型語言模型（LLM）並僅訓練投影層，實現了參數高效適配。實驗表明，對於參數超過10億的LLM，凍結模型並訓練輕量投影層比全面微調更具優勢，在自動指標和臨牀讀者研究中均表現出色，且具有良好的跨領域泛化能力。
近年來，多模態學習尤其是大型語言模型（LLM）和視覺語言模型（VLM）在自然圖像領域展現出強大的適應能力。然而，將這些模型拓展至醫學領域，特別是用於處理體積（3D）圖像時，面臨着諸多挑戰：計算複雜度高、體積依賴性顯著，以及視覺特徵與臨牀術語之間存在的語義鴻溝。直接在有限的小規模醫學數據上對LLM進行微調，往往會導致過擬合和臨牀幻覺現象——模型更傾向於生成流暢的語言表達，而非確保臨牀事實的準確性。
針對上述問題，Vanshali Sharma等研究者提出了一種名為RAD3D-Prefix的輕量級診斷先驗條件框架。該框架旨在通過最少的參數訓練實現高效適配，其核心思想是將圖像嵌入與多標籤診斷分類邏輯相融合。具體而言，RAD3D-Prefix模塊通過整合圖像的多標籤診斷概率，在保留關鍵臨牀細節的同時，有效地彌合了視覺特徵與臨牀描述之間的語義差距。更重要的是，該方法在訓練過程中保持LLM主體凍結，僅訓練少量可學習的投影層參數，從而大大降低了在小型領域特定數據集上過擬合的風險。
為了驗證RAD3D-Prefix的有效性，研究團隊在參數規模從9610萬到16億不等的多個LLM上進行了系統性實驗。實驗結果表明，微調策略對於參數規模較小（如低於10億）的LLM更為有益；而對於參數規模大約在10億及以上的大型LLM，保持模型凍結並僅訓練輕量級投影層，能夠在性能、泛化能力和計算效率之間取得更優的平衡。在多個自動評估指標以及臨牀讀者研究中，RAD3D-Prefix均優於其他參數高效的基線方法。值得注意的是，該方法在僅使用遠少於完全微調方法的可訓練參數的情況下，展現出了強大的跨領域泛化能力。
這項研究的深層意義在於，它為LLM在醫學影像報告生成中的實際應用提供了一條新的思路：通過巧妙地利用診斷先驗信息，並結合參數高效微調策略，即使在小規模數據集上也能達到優秀的性能。這不僅降低了計算資源的消耗，也為未來在更廣泛的醫學影像分析任務中部署大型語言模型提供了有價值的參考。隨着醫學影像數據量的不斷增加和模型規模的持續擴大，這種權衡模型複雜度與臨牀實用性的方法，有望成為推動AI輔助診斷深入發展的關鍵一步。