重新審視3D CT報告生成中的LLM適配：關於縮放與診斷先驗的研究
該研究針對體積CT報告生成，提出了一種輕量級診斷先驗條件框架RAD3D-Prefix，透過凍結大型語言模型（LLM）並僅訓練投影層，實現了引數高效適配。實驗表明，對於引數超過10億的LLM，凍結模型並訓練輕量投影層比全面微調更具優勢，在自動指標和臨床讀者研究中均表現出色，且具有良好的跨領域泛化能力。
近年來，多模態學習尤其是大型語言模型（LLM）和視覺語言模型（VLM）在自然影像領域展現出強大的適應能力。然而，將這些模型拓展至醫學領域，特別是用於處理體積（3D）影像時，面臨著諸多挑戰：計算複雜度高、體積依賴性顯著，以及視覺特徵與臨床術語之間存在的語義鴻溝。直接在有限的小規模醫學資料上對LLM進行微調，往往會導致過擬合和臨床幻覺現象——模型更傾向於生成流暢的語言表達，而非確保臨床事實的準確性。
針對上述問題，Vanshali Sharma等研究者提出了一種名為RAD3D-Prefix的輕量級診斷先驗條件框架。該框架旨在透過最少的引數訓練實現高效適配，其核心思想是將影像嵌入與多標籤診斷分類邏輯相融合。具體而言，RAD3D-Prefix模組透過整合影像的多標籤診斷機率，在保留關鍵臨床細節的同時，有效地彌合了視覺特徵與臨床描述之間的語義差距。更重要的是，該方法在訓練過程中保持LLM主體凍結，僅訓練少量可學習的投影層引數，從而大大降低了在小型領域特定資料集上過擬合的風險。
為了驗證RAD3D-Prefix的有效性，研究團隊在引數規模從9610萬到16億不等的多個LLM上進行了系統性實驗。實驗結果表明，微調策略對於引數規模較小（如低於10億）的LLM更為有益；而對於引數規模大約在10億及以上的大型LLM，保持模型凍結並僅訓練輕量級投影層，能夠在效能、泛化能力和計算效率之間取得更優的平衡。在多個自動評估指標以及臨床讀者研究中，RAD3D-Prefix均優於其他引數高效的基線方法。值得注意的是，該方法在僅使用遠少於完全微調方法的可訓練引數的情況下，展現出了強大的跨領域泛化能力。
這項研究的深層意義在於，它為LLM在醫學影像報告生成中的實際應用提供了一條新的思路：透過巧妙地利用診斷先驗資訊，並結合引數高效微調策略，即使在小規模資料集上也能達到優秀的效能。這不僅降低了計算資源的消耗，也為未來在更廣泛的醫學影像分析任務中部署大型語言模型提供了有價值的參考。隨著醫學影像資料量的不斷增加和模型規模的持續擴大，這種權衡模型複雜度與臨床實用性的方法，有望成為推動AI輔助診斷深入發展的關鍵一步。