信頼性を考慮した単眼深度監視によるスパースビューニューラル再構成
本研究では、Depth Anything V2とフォトメトリックマスクを使用した信頼性考慮型単眼深度監視手法を提案。SplatfactoにおいてPSNRが14.903から15.932に向上、RMSEが0.542から0.100に低減し、信頼できる低誤差領域の選択が効果的であることを示した。
arXivに最近投稿された論文「Reliability-Aware Monocular Depth Supervision for Sparse-View Neural Reconstruction」は、スパースビューニューラル再構成における単眼深度事前情報の効果的な活用方法を探求しています。自動運転の屋外シーンではカメラの軌跡が狭く、多視点の重なりが限られているため、スパースビュー再構成は困難です。単眼深度推定器は密な幾何学的事前情報を提供できますが、その予測はノイズが多く、画像領域全体で均一に信頼できるわけではありません。
研究者らは、Depth Anything V2を密な単眼深度事前情報として採用し、スケールシフトフィッティングにより予測をメートル深度に合わせ、RGBのみのベースラインモデルから生成されたフォトメトリックマスクを通じて選択的に深度監視を適用しました。この戦略は、2つの代表的なシーン表現であるMip-NeRF-360とSplatfactoで評価されました。
KITTI Seq02データセットのスパースビュー設定では、Mip-NeRF-360に対してマスク付き単眼深度監視はわずかなレンダリング向上しかもたらさず、メトリック形状も改善しませんでした。対照的に、Splatfactoは明確な利益を示し、PSNRが14.903から15.932に向上し、RMSEが0.542から0.100に低減しました。追加のKITTI Seq05実験とマッチドレシオマスクアブレーションにより、Splatfactoのゲインは深度監視ピクセル数の単純な削減ではなく、信頼できる低誤差領域の選択に起因することが示されました。
また、Bicycleシーンの実験では、多視点カバレッジがすでに強い場合、深度監視は形状を改善する一方でRGBレンダリング品質を損なう可能性があることが示されました。この発見は、深度事前情報の適用は状況に依存することを示唆しています。
全体として、この研究の結果は、単眼深度事前情報が制約の少ないスパースビュー再構成に有用であるが、選択的かつ適度な重みで適用すべきであることを示しています。論文はWei-Teng Chu氏を含む3名の著者によるもので、全10ページ、6図から構成されています。