利用生成式图像模型实现无训练的基本形状抽象

将3D形状表示为紧凑的几何基元集合是机器人、仿真和场景理解的基础。近年来，大规模训练的生成式图像模型已展现出作为通用视觉学习器的能力，能够直接在图像域中识别和分割物体部件，跨越任意类别且无需特定任务训练。然而，将这些模型应用于下游任务通常需要微调。本文研究是否可以不经过任何训练，直接利用预训练模型的能力，并给出了肯定的答案。

研究者提出了一种无训练管道：首先对3D对象渲染多视图图像，然后使用视觉语言模型分析其语义部件，接着提示生成式图像模型生成彩色编码的部分分割掩码，再将掩码重新投影到几何上，最后通过参数优化为每个部件拟合一个超二次曲面基元。该过程不包含任何可学习参数，因此具有类别无关和方向不变性，这是以往基于学习的方法难以实现的。

实验在HumanPrim和Toys4K数据集上进行，该方法在所有评估方法中取得了最低的Chamfer距离，平均每个对象使用5到9个基元。研究者通过真实分割数据的研究证实，当前精度瓶颈在于部件分割，而非基元拟合。这意味着，随着未来生成式图像模型分割能力的提升，该方法的精度天花板将同步提高。

此外，该方法无需针对特定类别或方向进行训练，使其在实际应用中具有广泛的适用性。例如，机器人抓取规划可以利用这种抽象形状表示来理解物体结构，仿真环境可以快速生成简化但精确的碰撞模型。研究者还指出，由于当前分割质量有限，当生成式模型在图像分割上取得进展时，该方法将直接受益，无需修改算法核心。

总的来说，这项工作展示了如何巧妙地利用现有预训练视觉模型的强大能力，避免了繁琐的微调过程，为3D形状抽象提供了一种高效、灵活的解决方案。未来，随着视觉语言模型和生成式图像模型的进一步发展，这类无训练方法有望在更多下游任务中发挥作用。