Google 近日宣佈了一項全新的圖像編輯方法，現已集成到 Google Photos 的 Auto frame（自動構圖）功能中。該技術允許用户在拍攝後重新調整照片的視角，彷彿在拍攝時改變了相機的位置。
傳統的裁剪和縮放無法根本改變照片的透視關係，而該方法通過機器學習將 2D 照片理解為 3D 場景，自動推斷原始相機位置，並生成從新角度觀看的完整圖像。整個過程分為兩個步驟：首先，一個內部的 3D 點地圖估計模型為每個像素估算其 3D 空間位置，並近似計算原始相機的焦距。為了保真人物身份，該模型專門優化了人體和麪部的重建，減少偽影。
第二步，利用經典的 3D 渲染技術生成新相機參數下的粗略圖像。但移動虛擬相機後會出現缺失區域，因此使用生成式潛在擴散模型來填充這些“空洞”。該模型經過專門訓練，能夠從重新渲染的第一張圖像中重構第二張圖像，並在推理時通過分類器引導保留原始內容，同時創造性地填補空白。
對於肖像照片，系統還能自動檢測人臉的位置和 3D 朝向，結合 3D 點地圖計算理想的相機參數。這尤其有助於改善廣角自拍中常見的透視畸變——靠近鏡頭的人臉部分會顯得過大。該方法能自動恢復自然比例，彷彿拍攝時後退了一步。
該功能現已在 Google Photos 中上線，作為 Auto frame 的第二個選項，用户只需一次點擊即可獲得經過視角優化的照片。這一成果由 Google DeepMind 與 Platforms & Devices 團隊合作完成，整合了多項創新技術，為移動攝影帶來了全新的後期處理體驗。