近年、単一画像から高品質な3D形状を生成するモデルが登場していますが、それらは完全な可視性と単一視点を前提としており、多視点、遮蔽、編集などのシナリオには適用が難しいという制限があります。既存の研究ではこれらの課題に個別に対処する試みがあるものの、多様な条件信号の下で制御可能な3D補完を実現する統一されたフレームワークは不足していました。MITの研究者Anita HuとMaria Shugrinaは、画像、可視性マスク、カメラパラメータ、および部分点群を共同で条件とするマルチモーダルかつ遮蔽に強い3D生成モデル「Axolotl3D」を提案しました。
点群は幾何学的アンカーとして機能し、忠実な形状補完を促進します。また、カメラパラメータにより共有3D座標系で一貫した多視点アライメントが実現されます。統一されたトレーニング戦略により、大規模3Dデータから多様な条件付けを学習し、頑健なクロスモーダル推論が可能になります。Toys4KおよびOmniObject3Dデータセットでの実験では、クリーンな設定でも遮蔽された設定でも最先端の性能を達成し、実世界再構成や幾何学的一貫性のある編集でも優れた結果を示しました。本手法はECCV 2026に採択されています。