在自动驾驶领域，多视角相机系统因能够提供广阔的视觉覆盖而被广泛采用。这种系统通过多个空间上分离的相机捕捉周围环境，从而为车辆感知提供丰富的视觉信息。然而，如何从这些分散的观测中合成一个统一的宽视角图像，仍然是一个具有挑战性的问题。近日，一篇题为《Wide View Synthesis from Overlapping Perspective Cameras in Autonomous Driving》的论文提出了一种新的任务形式——宽视角合成（Wide View Synthesis, WVS），旨在从多个透视相机合成指定虚拟视点下的几何一致的宽视角图像。该论文由Kaixuan Zhang等五位作者完成，于2026年11月4日提交至arXiv，属于计算机视觉与模式识别（cs.CV）领域。
与传统的图像拼接不同，WVS需要推理三维几何和可见性，以处理由空间分离的相机中心引起的深度相关视差和遮挡。传统图像拼接通常假设场景大致位于同一平面或忽略深度差异，而WVS则必须考虑真实的三维结构，才能生成几何一致的宽视角图像。这使得WVS在自动驾驶场景中尤为重要，因为车辆周围的物体分布在不同深度，简单的二维拼接会导致明显的视觉伪影。
尽管 vanilla 3D Gaussian Splatting (3DGS) 能够实现高保真的视图合成，但其依赖逐场景优化（per-scene optimization）的特性限制了其在驾驶场景中的适用性。3DGS通过优化每个场景的高斯表示来重建三维场景，但这个过程通常需要大量的计算时间和迭代，无法满足自动驾驶实时或快速部署的需求。此外，WVS还引入了额外的挑战，例如透视投影下的边缘拉伸（peripheral stretching）以及跨相机的光度不一致性（photometric inconsistencies）。边缘拉伸是由于透视投影在图像边缘处产生较大的畸变，而光度不一致性则源于不同相机的曝光、白平衡等参数差异。
为了解决这些挑战，作者提出了Wide-View Gaussian Splatting (WV-GS)，一种前馈（feed-forward）的高斯泼溅框架，能够在无需逐场景优化的情况下合成宽视角图像。具体而言，WV-GS引入了两项关键技术：分段透视渲染（Piecewise Perspective Rendering, PPR）和空间仿射光度建模（Spatial Affine Photometric Modeling, SAPM）。PPR通过共享同一相机中心的局部透视投影来减轻边缘拉伸，它将宽视角图像分解为多个局部透视投影，每个投影覆盖较小的视场角，从而减少边缘畸变。SAPM则在训练过程中考虑相机相关的光度变化，通过学习每个相机的仿射变换来校正光度差异，从而提高合成图像的一致性。
此外，作者还引入了WideDrive，一个提供密集真实宽视角图像的合成基准数据集，并针对真实世界数据集采用了一种基于LiDAR投影的稀疏参考协议。WideDrive包含了多种驾驶场景下的合成数据，能够为WVS任务提供高质量的监督信号。对于真实数据集，由于难以获得密集的真实宽视角图像，作者利用LiDAR点云投影生成稀疏的参考图像，以评估模型在真实场景中的性能。
在多数据集上的大量实验表明，WV-GS在WVS任务上具有有效性。作者在多个数据集上进行了评估，包括合成数据集和真实数据集，结果验证了WV-GS在生成几何一致且光度一致的宽视角图像方面的优势。论文摘要中提到，数据集和代码将公开释放，这将进一步推动该领域的研究。
总的来说，这项工作的主要贡献包括：首次形式化了宽视角合成（WVS）任务，明确了其与图像拼接的区别；提出了WV-GS框架，通过PPR和SAPM解决了边缘拉伸和光度不一致性问题，并实现了无需逐场景优化的高效合成；构建了WideDrive合成基准，并为真实数据集设计了稀疏参考协议；通过大量实验验证了方法的有效性。这些贡献为自动驾驶中的多相机视觉合成提供了新的思路和工具，有望在未来提升自动驾驶系统的环境感知能力。