在计算机视觉领域,对象插入是一项基础而具有挑战性的任务,其目标是将参考对象无缝地合成到背景图像的指定区域中。近年来,基于扩散模型的方法在视觉质量上取得了显著进展,但这些方法通常将对象插入视为简单的二维修补任务,缺乏对物体三维姿态的显式控制,从而限制了其在实际应用中的有效性,例如在增强现实、图像编辑和虚拟场景构建中,用户往往需要精确控制插入对象的朝向和位置。
为了克服这一局限,来自多家研究机构的Jingbo Gong及其合作者提出了DIRECT(Decomposed Injection for Reference Composition and Target-integration)框架。该框架创新性地将交互式姿态操作与高保真二维图像合成相结合,实现了姿态可控的对象插入。DIRECT的核心思想是将插入条件解耦为三个互补的引导组件:外观引导,用于捕捉参考对象的视觉细节;几何引导,来源于用户调整的三维代理模型;以及上下文引导,来自目标背景的场景信息。这三个组件通过独立的注入路径输入到生成过程中,从而避免了特征纠缠,使得生成的图像既能保留参考对象的外观,又能遵循用户指定的姿态,同时自然地融入目标场景。
此外,研究团队还设计了一条自动化的数据构建管道,通过合成多样化的训练样本,显著提升了训练数据的多样性和质量,进一步增强了模型的泛化能力。在多个基准数据集上的实验结果表明,DIRECT在几何可控性和视觉质量方面均显著优于现有的最先进方法。该研究成果已被ICML 2026会议接收,相关代码和模型已公开发布,为未来的图像编辑、虚拟现实和增强现实应用提供了强大的工具。
DIRECT的提出不仅解决了对象插入中姿态控制的关键难题,也为更广泛的图像合成任务提供了新的思路。通过显式地分解插入条件,该方法展示了如何将物理世界中的三维信息融入二维生成模型,从而推动计算机视觉向更加可控和实用化的方向发展。