Google 近日宣布了一项全新的图像编辑方法，现已集成到 Google Photos 的 Auto frame（自动构图）功能中。该技术允许用户在拍摄后重新调整照片的视角，仿佛在拍摄时改变了相机的位置。
传统的裁剪和缩放无法根本改变照片的透视关系，而该方法通过机器学习将 2D 照片理解为 3D 场景，自动推断原始相机位置，并生成从新角度观看的完整图像。整个过程分为两个步骤：首先，一个内部的 3D 点地图估计模型为每个像素估算其 3D 空间位置，并近似计算原始相机的焦距。为了保真人物身份，该模型专门优化了人体和面部的重建，减少伪影。
第二步，利用经典的 3D 渲染技术生成新相机参数下的粗略图像。但移动虚拟相机后会出现缺失区域，因此使用生成式潜在扩散模型来填充这些“空洞”。该模型经过专门训练，能够从重新渲染的第一张图像中重构第二张图像，并在推理时通过分类器引导保留原始内容，同时创造性地填补空白。
对于肖像照片，系统还能自动检测人脸的位置和 3D 朝向，结合 3D 点地图计算理想的相机参数。这尤其有助于改善广角自拍中常见的透视畸变——靠近镜头的人脸部分会显得过大。该方法能自动恢复自然比例，仿佛拍摄时后退了一步。
该功能现已在 Google Photos 中上线，作为 Auto frame 的第二个选项，用户只需一次点击即可获得经过视角优化的照片。这一成果由 Google DeepMind 与 Platforms & Devices 团队合作完成，整合了多项创新技术，为移动摄影带来了全新的后期处理体验。