arXivに投稿された新しい研究では、3Dコンピュータ断層撮影（CT）画像のための自己教師あり事前学習フレームワーク「Rad-JEPA 3D」が提案されています。3D医用画像解析において、ラベルなしCTボリュームは豊富に存在しますが、専門家によるアノテーションは不足しているため、自己教師あり事前学習が重要です。しかし、既存のボリュームエンコーダは、ダウンストリーム推論に必要な粗い空間的・幾何学的構造を保持できず、臓器分離、異常検出、言語モデルと組み合わせた空間理解の性能が制限されていました。Rad-JEPA 3Dは、マスクされたビューから完全なスキャンの潜在特徴を予測することで、ボリュームCT表現を学習します。
中核となるハイブリッドH-Mambaエンコーダは、2つのブランチを融合します。1つはMamba状態空間ブランチで、逐次スキャンによりスライス間の連続性をモデル化します。もう1つはグループ化クエリアテンションブランチで、断面間の空間コンテキストを捕捉します。これらは軽量なトークン単位のルーターで結合されます。さらに、研究チームは隠れ状態直交正則化（HSOR）を提案し、生徒-教師の隠れ状態を整列させてエンコーダ全体の特徴冗長性を低減します。この層ごとの正則化により、より一貫性があり識別力の高いボリューム表現が生成され、臓器認識や空間推論タスクの性能が向上します。
Rad-JEPA 3Dは約12万のCTスキャンで事前学習され、わずか4.0Bの総パラメータ数でありながら、クローズドエンドVQAで最先端モデルと競合し、Spatial-Medベンチマークで最高の平均空間推論スコアを達成しました。アブレーション研究により、ハイブリッドブロックとHSORが相補的な利点をもたらし、誘導された空間構造がボリューム推論タスクにおいて生の言語モデルの規模を代替できることが確認されています。
コードと事前学習モデルは今後公開される予定です。Rad-JEPA 3Dは、特にアノテーションデータが不足している状況において、3D医用画像分析のための自己教師あり事前学習の効率的かつ強力な新しい選択肢を提供します。これは、ボリューム医用画像における共同埋め込み予測フレームワークの可能性を示し、将来的にはより広範な臨床応用への展開の基盤となります。