Googleは、写真撮影後に視点を変更できる新しい画像編集手法を発表しました。この技術はGoogle PhotosのAuto frame機能に組み込まれ、ユーザーが後から写真の構図を再調整することを可能にします。
従来のトリミングやズームでは視差を変えられませんでしたが、本手法は機械学習を用いて2D写真を3Dシーンとして解釈し、元のカメラ位置を推定した上で、新しいカメラ角度からの画像を生成します。プロセスは2段階に分かれています。まず、内部の3D点群推定モデルが各ピクセルの3D空間上の位置を計算し、元の焦点距離を近似します。人物の顔や体の再構築に特化して訓練されており、同一性を保つためのアーティファクトを抑えます。
次に、古典的な3Dレンダリングで新しいカメラパラメータに基づく粗い画像を生成します。しかしカメラを動かすと隠れていた領域が現れるため、生成潜在拡散モデルを用いてその「穴」を補完します。このモデルは、既知のカメラパラメータを持つ画像ペアの内部データセットで訓練され、再レンダリング画像から元の画像を再構築することを学習します。推論時には分類器ガイダンスを用いて元のコンテンツを保持しつつ、欠損部分を創造的に補填します。
ポートレート写真では、主要被写体の顔の位置と3D方向を検出し、理想的なフレーミングのためのカメラパラメータを自動計算します。特に広角フロントカメラで撮影された自撮り写真の遠近歪み（レンズに近い部分が大きく見える）を自動的に検出し、仮想カメラの内部パラメータを調整することで自然なプロポーションに補正します。
この完全自動ソリューションは、Google PhotosのAuto frame機能の一部として利用可能です。人物が含まれる写真に対して、最適化されたカメラ視点の画像を2番目のフレーム候補として表示し、ワンタップで適用できます。本機能はGoogle DeepMindとPlatforms & Devicesチームの共同開発によるもので、モバイルフォトグラフィーの後処理に新たな可能性をもたらします。