利用生成式影像模型實現無訓練的基本形狀抽象

將3D形狀表示為緊湊的幾何基元集合是機器人、模擬和場景理解的基礎。近年來，大規模訓練的生成式影像模型已展現出作為通用視覺學習器的能力，能夠直接在影像域中識別和分割物體部件，跨越任意類別且無需特定任務訓練。然而，將這些模型應用於下游任務通常需要微調。本文研究是否可以不經過任何訓練，直接利用預訓練模型的能力，並給出了肯定的答案。

研究者提出了一種無訓練管道：首先對3D物件渲染多檢視影像，然後使用視覺語言模型分析其語義部件，接著提示生成式影像模型生成彩色編碼的部分分割掩碼，再將掩碼重新投影到幾何上，最後透過引數最佳化為每個部件擬合一個超二次曲面基元。該過程不包含任何可學習引數，因此具有類別無關和方向不變性，這是以往基於學習的方法難以實現的。

實驗在HumanPrim和Toys4K資料集上進行，該方法在所有評估方法中取得了最低的Chamfer距離，平均每個物件使用5到9個基元。研究者透過真實分割資料的研究證實，當前精度瓶頸在於部件分割，而非基元擬合。這意味著，隨著未來生成式影像模型分割能力的提升，該方法的精度天花板將同步提高。

此外，該方法無需針對特定類別或方向進行訓練，使其在實際應用中具有廣泛的適用性。例如，機器人抓取規劃可以利用這種抽象形狀表示來理解物體結構，模擬環境可以快速生成簡化但精確的碰撞模型。研究者還指出，由於當前分割質量有限，當生成式模型在影像分割上取得進展時，該方法將直接受益，無需修改演算法核心。

總的來說，這項工作展示瞭如何巧妙地利用現有預訓練視覺模型的強大能力，避免了繁瑣的微調過程，為3D形狀抽象提供了一種高效、靈活的解決方案。未來，隨著視覺語言模型和生成式影像模型的進一步發展，這類無訓練方法有望在更多下游任務中發揮作用。