跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

利用生成式图像模型实现无训练的基本形状抽象

文章摘要

本文提出一种无需训练的方法,利用预训练的生成式图像模型和视觉语言模型,从3D对象的多视图图像中提取语义部分,并将其抽象为超二次曲面基元。该方法不包含可学习参数,具有类别无关和方向不变性,在HumanPrim和Toys4K数据集上取得了最低的Chamfer距离,平均每个对象使用5-9个基元。研究表明,当前精度瓶颈在于部分分割而非基元拟合。

来源arXiv Computer Vision作者: Gregor Kobsik, Tim Elsner, Leif Kobbelt
利用生成式图像模型实现无训练的基本形状抽象
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

将3D形状表示为紧凑的几何基元集合是机器人、仿真和场景理解的基础。近年来,大规模训练的生成式图像模型已展现出作为通用视觉学习器的能力,能够直接在图像域中识别和分割物体部件,跨越任意类别且无需特定任务训练。然而,将这些模型应用于下游任务通常需要微调。本文研究是否可以不经过任何训练,直接利用预训练模型的能力,并给出了肯定的答案。

研究者提出了一种无训练管道:首先对3D对象渲染多视图图像,然后使用视觉语言模型分析其语义部件,接着提示生成式图像模型生成彩色编码的部分分割掩码,再将掩码重新投影到几何上,最后通过参数优化为每个部件拟合一个超二次曲面基元。该过程不包含任何可学习参数,因此具有类别无关和方向不变性,这是以往基于学习的方法难以实现的。

实验在HumanPrim和Toys4K数据集上进行,该方法在所有评估方法中取得了最低的Chamfer距离,平均每个对象使用5到9个基元。研究者通过真实分割数据的研究证实,当前精度瓶颈在于部件分割,而非基元拟合。这意味着,随着未来生成式图像模型分割能力的提升,该方法的精度天花板将同步提高。

此外,该方法无需针对特定类别或方向进行训练,使其在实际应用中具有广泛的适用性。例如,机器人抓取规划可以利用这种抽象形状表示来理解物体结构,仿真环境可以快速生成简化但精确的碰撞模型。研究者还指出,由于当前分割质量有限,当生成式模型在图像分割上取得进展时,该方法将直接受益,无需修改算法核心。

总的来说,这项工作展示了如何巧妙地利用现有预训练视觉模型的强大能力,避免了繁琐的微调过程,为3D形状抽象提供了一种高效、灵活的解决方案。未来,随着视觉语言模型和生成式图像模型的进一步发展,这类无训练方法有望在更多下游任务中发挥作用。

展开要点与分析

文章情报

工程师进阶

要点

  • 无需微调或训练,直接利用预训练的生成式图像模型进行3D形状抽象。
  • 方法渲染多视图图像,通过视觉语言模型分析语义部分,生成分割掩码并投影到几何上。
  • 在HumanPrim和Toys4K数据集上,在Chamfer距离指标上优于所有对比方法。
  • 精度主要受限于部分分割质量,未来生成式模型的改进将直接提升性能。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。