跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

Any3R:面向任意相機型別的前饋三維重建

文章摘要

Any3R 是一種前饋幾何基礎模型,能夠直接處理任意中心投影相機拍攝的影像,無需針對每種鏡頭重新訓練。它用每個畫素的單位射線方向替代針孔假設,並同時改造了位置編碼與訓練損失,從而支援混合相機型別,並在覆蓋十三種相機、三個資料集的評測中表現最為穩定。

來源arXiv Computer Vision作者: Jingong Chen, Qingwen Zhang, Youming Deng, Chulwoo Pack, Olaf Wysocki, Boris Jutzi, Kwanghee Won, Kyle Gao
Any3R:面向任意相機型別的前饋三維重建
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

幾何基礎模型能夠藉助前饋網路從一組影像中恢復相機位姿與稠密幾何,但這類模型通常預設輸入為針孔相機影像。該假設不僅停留在輸入端,還深入到了網路主幹:位置編碼和訓練損失都把影像中的某個位置與空間中的某個方向繫結,因此二者都依賴於鏡頭本身。

Any3R 的核心做法,是把這種依賴改換為對稠密射線場的條件化。所謂稠密射線場,就是穿過每一個畫素的單位方向向量。它可以在不指定鏡頭型別、不提供畸變係數、也不限制視場角範圍的前提下,描述任意中心相機。相比用針孔模型加畸變引數來近似真實鏡頭,直接使用逐畫素的射線方向更加通用,也更貼近成像的幾何本質。

具體而言,作者從兩個環節入手改造。其一是位置編碼:他們採用角座標,把旋轉位置編碼建立在每個影像塊實測的射線角度之上,並按每個檢視分別求值。這樣一來,編碼所表達的空間方向來自真實測量,而不是來自針孔模型的假設。其二是訓練損失:點損失不再按畫素均勻加權,而是按每個畫素在單位球面上覆蓋的面積,也就是立體角進行縮放。於是,無論鏡頭如何,監督訊號都在球面幾何上保持一致。

經過這兩處改動,位置編碼與監督訊號都不再依賴鏡頭型別。Any3R 因而成為一個可以直接接受任意中心相機輸入的前饋模型,並且能夠在同一場景中穩健地混合多種相機型別,無需為每種鏡頭重新訓練。

作者在三個資料集上構建了包含十三種中心相機的基準測試,並採用每方法各自預測的相機位姿進行重建,以考察各方法的綜合表現。結果顯示,Any3R 是其中精度最穩定的方法。這一特性使 Any3R 有望用於異構的眾包影像與檔案影像集合:這些來源往往跨越多種相機型別,難以按鏡頭逐一適配模型。

該論文由 Jingong Chen 等八位作者完成,於 2026 年 10 月 26 日提交至 arXiv,編號 arXiv:2610.36150v1,歸類於計算機視覺與模式識別(cs.CV)。作者同時提供了專案主頁,用於展示相關工作。

展開要點與分析

文章情報

工程師進階

要點

  • 用稠密射線場(每個畫素的單位方向)描述任意中心相機,無需鏡頭型別、畸變係數或視場角範圍等引數。
  • 旋轉位置編碼改用每個檢視實測的射線角度,點損失按畫素在球面上所佔的立體角加權,使編碼與監督都不依賴鏡頭。
  • 支援在同一場景中混合多種相機型別,且無需針對每種鏡頭重新訓練。
  • 在三個資料集、十三種中心相機的基準測試中,各方法均用自身預測的相機位姿進行重建,Any3R 的精度表現最為穩定。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。