本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

Any3R:あらゆるカメラタイプに対応するフィードフォワード3次元再構成

記事の要約

Any3Rは、あらゆる中心投影カメラの画像をレンズごとの再学習なしに扱えるフィードフォワード型の幾何基盤モデルである。ピンホール仮定を捨て、各ピクセルを通る単位方向からなる稠密レイフィールドに位置エンコーディングと損失を条件付けることで、多様なカメラの混在に対応し、3データセット・13種の中心投影カメラのベンチマークで最も安定して高精度な結果を示した。

ソースarXiv Computer Vision著者: Jingong Chen, Qingwen Zhang, Youming Deng, Chulwoo Pack, Olaf Wysocki, Boris Jutzi, Kwanghee Won, Kyle Gao
Any3R:あらゆるカメラタイプに対応するフィードフォワード3次元再構成
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

幾何基盤モデルは、フィードフォワードネットワークによって複数画像からカメラ姿勢と稠密な幾何を復元できる。しかし、その前提はピンホール画像であり、この仮定は入力だけでなくネットワークの骨格にも入り込んでいる。位置エンコーディングと学習損失のいずれもが画像上の位置を空間中の方向に結び付けており、両方ともレンズに依存してしまう。

Any3Rの中心的なアイデアは、この依存を稠密レイフィールドに対する条件付けへ置き換えることにある。稠密レイフィールドとは、各ピクセルを通る単位方向のことである。これを用いれば、レンズ種別や歪み係数、画角の上限を指定することなく、任意の中心投影カメラを記述できる。ピンホールモデルと歪みパラメータで実レンズを近似するよりも汎用的であり、結像の幾何学的な本質に近い表現だと言える。

著者らは具体的に2つの箇所を改変している。第一に位置エンコーディングである。角座標を用い、回転位置エンコーディングを各画像パッチで実測されたレイ角度に基づいて与え、これをビューごとに評価する。これにより、エンコーディングが表す空間方向はピンホール仮定ではなく実測値に由来する。第二に学習損失である。点損失はピクセルごとに均等に重み付けするのではなく、各ピクセルが単位球面上で覆う面積、すなわち立体角でスケーリングする。その結果、レンズによらず監督信号が球面幾何の上で一貫する。

これらの変更により、位置エンコーディングも監督信号もレンズタイプに依存しなくなる。こうしてAny3Rは、任意の中心投影カメラをそのまま入力できるフィードフォワードモデルとなり、同一シーン内で複数のカメラタイプが混在していても頑健に動作し、レンズごとの再学習を必要としない。

著者らは3つのデータセット上で13種の中心投影カメラを含むベンチマークを構築し、各手法が自身の予測したカメラ姿勢で再構成する条件で総合性能を比較した。その結果、Any3Rは最も安定して高精度な手法であった。この性質により、多様なカメラタイプが混在する異種のクラウドソース画像やアーカイブ画像コレクションに対して、レンズごとの個別対応なしにスケーラブルな3次元再構成が可能になる。

本論文はJingong Chen氏ら8名によるもので、2026年10月26日にarXivへ投稿された。識別子はarXiv:2610.36150v1、分類はコンピュータビジョンとパターン認識(cs.CV)である。著者らはプロジェクトページも公開している。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • レンズ種別・歪み係数・画角の制限を必要とせず、任意の中心投影カメラを各ピクセルの単位方向(稠密レイフィールド)で表現する。
  • 回転位置エンコーディングには各ビューで測定したパッチのレイ角度を、点損失にはピクセルが球面上で占める面積による立体角重み付けを用いる。
  • 1つのシーンに複数のカメラタイプが混在しても頑健に扱え、レンズごとの再学習が不要。
  • 3データセット・13種の中心投影カメラによるベンチマークで、各手法が自身の予測姿勢で再構成する条件のもと、最も安定して高精度だった。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。