MetaView：具有尺度感知隐式几何先验的单目新视角合成
本文提出MetaView，一种基于扩散模型的单目新视角合成框架，能够从单张图像实现大视角变化下的渲染。通过结合隐式几何建模与度量深度，MetaView在保持几何一致性的同时提供了精确可控性。实验表明，在挑战性大视角变化场景下，MetaView显著优于现有方法。
近日，来自KlingAI Research团队的研究人员提出了一种名为MetaView的新型框架，旨在解决单目新视角合成中的大视角变化难题。传统方法往往依赖显式几何先验来强制空间一致性，但这会限制大视角变化下的泛化能力；而交互式生成方法则偏好隐式场景建模，虽灵活但缺乏精确相机控制和几何一致性。MetaView巧妙地平衡了这两者：它通过前馈几何感知网络引入隐式几何先验来正则化结构，同时利用度量深度将生成锚定到公制尺度。这一设计使得MetaView即便在单张大视角变化图像输入下，也能生成几何一致且可控的新视角。
MetaView基于扩散模型，其核心创新在于将隐式几何建模与最小且必要的显式3D线索相结合。具体而言，该框架包含一个前馈几何感知网络，该网络从输入图像中推断出隐式几何先验，这些先验用于指导扩散过程，从而在不依赖显式重建管线的情况下保持结构一致性。同时，通过引入度量深度信息，MetaView能够确保生成结果具有正确的尺度，这对于现实世界的应用至关重要。研究人员在论文中展示了大量实验，证明MetaView在多个基准数据集上均超越了现有新视角合成方法，尤其在极端视角变化场景下展现出卓越的泛化能力。该工作已被ECCV 2026接收，代码已开源在GitHub上。
这一成果有望为虚拟现实、电影制作和3D内容生成等领域带来突破，使得从单张图片生成多视角沉浸式体验变得更加高效和精确。MetaView的提出，标志着单目新视角合成领域迈出了重要一步，为未来更智能、更可控的视觉生成系统奠定了基础。