跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

Any3R:面向任意相机类型的前馈三维重建

文章摘要

Any3R 是一种前馈几何基础模型,能够直接处理任意中心投影相机拍摄的图像,无需针对每种镜头重新训练。它用每个像素的单位射线方向替代针孔假设,并同时改造了位置编码与训练损失,从而支持混合相机类型,并在覆盖十三种相机、三个数据集的评测中表现最为稳定。

来源arXiv Computer Vision作者: Jingong Chen, Qingwen Zhang, Youming Deng, Chulwoo Pack, Olaf Wysocki, Boris Jutzi, Kwanghee Won, Kyle Gao
Any3R:面向任意相机类型的前馈三维重建
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

几何基础模型能够借助前馈网络从一组图像中恢复相机位姿与稠密几何,但这类模型通常默认输入为针孔相机图像。该假设不仅停留在输入端,还深入到了网络主干:位置编码和训练损失都把图像中的某个位置与空间中的某个方向绑定,因此二者都依赖于镜头本身。

Any3R 的核心做法,是把这种依赖改换为对稠密射线场的条件化。所谓稠密射线场,就是穿过每一个像素的单位方向向量。它可以在不指定镜头类型、不提供畸变系数、也不限制视场角范围的前提下,描述任意中心相机。相比用针孔模型加畸变参数来近似真实镜头,直接使用逐像素的射线方向更加通用,也更贴近成像的几何本质。

具体而言,作者从两个环节入手改造。其一是位置编码:他们采用角坐标,把旋转位置编码建立在每个图像块实测的射线角度之上,并按每个视图分别求值。这样一来,编码所表达的空间方向来自真实测量,而不是来自针孔模型的假设。其二是训练损失:点损失不再按像素均匀加权,而是按每个像素在单位球面上覆盖的面积,也就是立体角进行缩放。于是,无论镜头如何,监督信号都在球面几何上保持一致。

经过这两处改动,位置编码与监督信号都不再依赖镜头类型。Any3R 因而成为一个可以直接接受任意中心相机输入的前馈模型,并且能够在同一场景中稳健地混合多种相机类型,无需为每种镜头重新训练。

作者在三个数据集上构建了包含十三种中心相机的基准测试,并采用每方法各自预测的相机位姿进行重建,以考察各方法的综合表现。结果显示,Any3R 是其中精度最稳定的方法。这一特性使 Any3R 有望用于异构的众包图像与档案影像集合:这些来源往往跨越多种相机类型,难以按镜头逐一适配模型。

该论文由 Jingong Chen 等八位作者完成,于 2026 年 10 月 26 日提交至 arXiv,编号 arXiv:2610.36150v1,归类于计算机视觉与模式识别(cs.CV)。作者同时提供了项目主页,用于展示相关工作。

展开要点与分析

文章情报

工程师进阶

要点

  • 用稠密射线场(每个像素的单位方向)描述任意中心相机,无需镜头类型、畸变系数或视场角范围等参数。
  • 旋转位置编码改用每个视图实测的射线角度,点损失按像素在球面上所占的立体角加权,使编码与监督都不依赖镜头。
  • 支持在同一场景中混合多种相机类型,且无需针对每种镜头重新训练。
  • 在三个数据集、十三种中心相机的基准测试中,各方法均用自身预测的相机位姿进行重建,Any3R 的精度表现最为稳定。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。