KlingAI Researchの研究チームは、単眼新視点合成における大きな視点変化の課題に取り組むため、MetaViewと呼ばれる新しいフレームワークを提案した。従来の手法では、明示的な幾何学事前知識を用いて空間的一貫性を強制する一方で、視点変化が大きい場合の汎化能力が制限されていた。また、最近の対話型生成手法は暗黙的なシーンモデリングを好むが、正確なカメラ制御や幾何学的一貫性が犠牲になっていた。MetaViewは、フィードフォワード幾何学認識ネットワークから暗黙的幾何学事前知識を取り入れ、計量深度を活用して生成をメートルスケールに固定することで、このジレンマを解決する。
MetaViewは拡散モデルに基づき、単一画像から大きな視点変化でも幾何学的一貫性と正確な制御性を両立する。具体的には、フィードフォワードネットワークが入力画像から暗黙の幾何学情報を抽出し、それが拡散プロセスをガイドして、明示的な再構成パイプラインを必要とせずに構造の一貫性を維持する。計量深度情報を導入することで、現実世界の応用に重要な正しいスケールでの生成が可能となる。実験では、複数のベンチマークデータセットにおいて既存の新視点合成手法を上回り、特に極端な視点変化で優れた汎化能力を示した。本研究成果はECCV 2026に採択され、コードはGitHubで公開されている。
この研究は、バーチャルリアリティや映画制作、3Dコンテンツ生成などの分野に革新をもたらし、単一画像から没入型マルチビュー体験を効率的かつ精密に生成する可能性を拓く。MetaViewの提案は、単眼新視点合成の分野における重要な一歩であり、より知的で制御可能なビジュアル生成システムの将来の基盤となる。