現有的3D生成模型通常假設輸入圖像中物體完全可見且來自單一視角，因此當面對多視角、部分遮擋或需要編輯的場景時，其性能會大幅下降。雖然已有工作嘗試分別解決這些問題，但缺乏一個統一的框架來應對多種條件信號。針對這一挑戰，來自MIT的研究人員Anita Hu和Maria Shugrina提出了Axolotl3D，這是一種多模態且對遮擋敏感的3D生成模型，能夠同時利用圖像、可見性掩模、相機參數和部分點雲信息，實現對3D形狀的忠實補全。
Axolotl3D的核心創新在於：部分點雲作為幾何錨點，確保生成的形狀與輸入保持一致；相機參數則保證了在多視角下，生成的形狀在共享的3D座標系中能正確對齊。模型採用統一的訓練策略，從大規模3D數據中合成多樣化的條件組合，從而具備了強大的跨模態推理能力。在Toys4K和OmniObject3D數據集上的實驗表明，無論是在乾淨設置還是遮擋設置下，Axolotl3D都達到了最先進的性能。此外，該框架在真實世界重建和幾何一致性編輯任務中也表現出色，證明了其在實際應用中的潛力。該論文已被ECCV 2026接收。