三维场景图生成(3DSGG)是一种将三维场景表示为结构化图的技术,其中节点代表物体,边代表物体之间的关系。这种表示方式为空间理解和场景推理提供了紧凑且可解释的抽象,在机器人导航、增强现实和具身智能等领域具有广泛应用。然而,在实际应用中,智能体往往需要从不同视角观察同一场景,例如机器人绕物体旋转或无人机改变航向。现有的大多数3DSGG模型在处理视角变化时表现不佳,它们的关系预测往往不能正确反映视角变换带来的关系变化。例如,当观察者向左旋转90度时,原本在左侧的物体可能变成在前方,但模型可能会错误地保持原来的关系标签。
研究团队发现,这一问题的根源在于谓词级别的变换异质性。具体而言,方向性谓词(如“左”、“前”、“右”、“后”)应当随着观察框架的旋转而相应变化,而接触、支撑和语义谓词(如“站立在”、“附着于”、“连接”)则应当保持稳定。然而,现有模型通常对所有谓词一视同仁,导致在视角变化时产生不一致的预测。为了解决这个问题,研究者提出了变换感知解耦(Transformation-Aware Decoupling, TAD)框架,这是一种视角鲁棒的3DSGG方法。
TAD的核心思想是将关系推理分解为两个并行的分支。第一个分支负责学习跨视角保持稳定的关系线索,即那些不随视角变化而改变的语义和接触关系。第二个分支则专注于学习方向性线索,这些线索需要根据观察框架的变化而动态调整。两个分支的输出随后被合并,用于标准的多元谓词预测任务。为了进一步增强两个分支的互补性,TAD引入了变换特定描述符(Transformation-specific Descriptors)和组感知辅助监督(Group-aware Auxiliary Supervision)机制。变换特定描述符为不同的视角变换提供显式的特征表示,而组感知监督则鼓励模型根据谓词的变换行为将其分组,从而更有效地分离稳定和动态的特征。
在著名的3DSSG数据集上,研究团队进行了大量实验。结果表明,TAD在不使用训练时旋转数据增强的情况下,在偏航视角变化下达到了最先进的鲁棒性,同时保持了在标准基准上的竞争力。与现有的多个基线模型相比,TAD在关系预测的准确性和一致性上都有显著提升。此外,TAD在零样本视角迁移场景中也表现出色,证明了其泛化能力。
这项工作的意义在于,它为3D场景理解中的视角动态性问题提供了一种优雅的解决方案,使得智能体能够更可靠地感知和交互环境。未来,该方法有望扩展到更复杂的视角变化(如俯仰和翻滚)以及更多的交互类型。相关代码和项目页面已公开,供研究者进一步探索和验证。