近年來，將視覺語言模型（VLM）集成到生成模型中作為條件編碼器的方法日益增多，但這些方法通常面臨兩個主要問題：一是依賴昂貴的端到端訓練，二是將特徵映射到壓縮表示，從而丟失了3D資產生成等幾何感知任務所需的密集空間結構。為了突破這一瓶頸，研究人員提出了GAP3D，這是一種模塊化的、基於擴散的對齊方法。其核心思想是將VLM生成的潛在表示直接對齊到預訓練圖像編碼器的完整補丁級特徵空間。通過這種方式，下游的生成模型可以保持凍結狀態，同時利用VLM作為提示編碼器，並且條件信號仍然保留空間結構。
GAP3D的創新之處在於其擴散對齊機制。與以往將VLM特徵壓縮為全局向量的方法不同，GAP3D保留了補丁級的空間信息。具體來説，它通過一個擴散過程，逐步將VLM潛在表示映射到圖像編碼器的特徵空間，從而生成與空間結構對齊的嵌入。這種設計使得模型主要依靠通用領域的圖像-文本對進行訓練，而無需依賴大規模3D數據集。這一特性顯著降低了訓練成本，並提高了模型的通用性。
在3D資產生成任務上的評估表明，GAP3D不僅在標準文本條件下表現出色，還展現出了令人驚訝的零樣本多模態能力。儘管模型僅在文本輸入上進行訓練，但它能夠處理包含圖像和文本的多模態提示。這為實際應用中的靈活性奠定了基礎，因為用户可以使用更豐富的條件來指導生成過程。
然而，GAP3D目前的一個限制是它優先關注高層語義信息，在捕捉細粒度細節方面仍有不足。儘管如此，該研究證明了VLM與圖像編碼器特徵空間之間的表示差距可以通過擴散對齊部分彌補。這為通過生成性對齊到密集嵌入空間來實現基礎模型的模塊化集成邁出了重要的第一步。未來的工作可能會進一步優化對齊精度，以同時保留語義和細節信息，從而推動3D生成技術的發展。