arXiv 近期發佈了一項新研究，提出了 Rad-JEPA 3D，一種專為3D計算機斷層掃描（CT）影像設計的自監督預訓練框架。在3D醫學圖像分析領域，未標記的CT體積數據豐富但專家標註稀缺，因此自監督預訓練至關重要。然而，現有的體積編碼器通常無法保留下游推理所依賴的粗粒度空間和幾何結構，這限制了它們在器官分離、異常檢測以及與語言模型結合時的空間理解能力。Rad-JEPA 3D通過從掩碼視圖預測完整掃描的潛在特徵來學習體積CT表示，從而解決了這一問題。
該框架的核心是一個混合H-Mamba編碼器，它融合了兩個分支：一是Mamba狀態空間分支，通過順序掃描建模切片間的連續性；二是分組查詢注意力分支，捕捉跨平面的空間上下文。這兩個分支通過一個輕量級的逐令牌路由器進行組合。此外，研究團隊還提出了隱藏狀態正交正則化（HSOR），用於對齊學生-教師隱藏狀態並減少整個編碼器中的特徵冗餘。這種逐層正則化產生了更一致且更具判別性的體積表示，從而在器官識別和空間推理任務上取得了更好的性能。
Rad-JEPA 3D在大約12萬次CT掃描上進行了預訓練，儘管參數規模僅為4.0B，但在封閉式視覺問答（VQA）任務上達到了與最先進模型相當的結果，並在Spatial-Med基準上獲得了最佳平均空間推理得分。消融研究證實，混合模塊和HSOR能夠互補增益，並且誘導出的空間結構可以在體積推理任務中替代原始語言模型的規模。
該研究的代碼和預訓練模型預計將在未來公開。Rad-JEPA 3D的提出為3D醫學圖像分析中的自監督預訓練提供了一個高效且強大的新選擇，尤其適用於標註數據稀缺的場景。它展示了聯合嵌入預測框架在體積醫學成像中的潛力，為未來在更廣泛的臨牀應用中的部署奠定了基礎。