几何基础模型能够借助前馈网络从一组图像中恢复相机位姿与稠密几何,但这类模型通常默认输入为针孔相机图像。该假设不仅停留在输入端,还深入到了网络主干:位置编码和训练损失都把图像中的某个位置与空间中的某个方向绑定,因此二者都依赖于镜头本身。
Any3R 的核心做法,是把这种依赖改换为对稠密射线场的条件化。所谓稠密射线场,就是穿过每一个像素的单位方向向量。它可以在不指定镜头类型、不提供畸变系数、也不限制视场角范围的前提下,描述任意中心相机。相比用针孔模型加畸变参数来近似真实镜头,直接使用逐像素的射线方向更加通用,也更贴近成像的几何本质。
具体而言,作者从两个环节入手改造。其一是位置编码:他们采用角坐标,把旋转位置编码建立在每个图像块实测的射线角度之上,并按每个视图分别求值。这样一来,编码所表达的空间方向来自真实测量,而不是来自针孔模型的假设。其二是训练损失:点损失不再按像素均匀加权,而是按每个像素在单位球面上覆盖的面积,也就是立体角进行缩放。于是,无论镜头如何,监督信号都在球面几何上保持一致。
经过这两处改动,位置编码与监督信号都不再依赖镜头类型。Any3R 因而成为一个可以直接接受任意中心相机输入的前馈模型,并且能够在同一场景中稳健地混合多种相机类型,无需为每种镜头重新训练。
作者在三个数据集上构建了包含十三种中心相机的基准测试,并采用每方法各自预测的相机位姿进行重建,以考察各方法的综合表现。结果显示,Any3R 是其中精度最稳定的方法。这一特性使 Any3R 有望用于异构的众包图像与档案影像集合:这些来源往往跨越多种相机类型,难以按镜头逐一适配模型。
该论文由 Jingong Chen 等八位作者完成,于 2026 年 10 月 26 日提交至 arXiv,编号 arXiv:2610.36150v1,归类于计算机视觉与模式识别(cs.CV)。作者同时提供了项目主页,用于展示相关工作。