在自動駕駛領域，多視角相機系統因能夠提供廣闊的視覺覆蓋而被廣泛採用。這種系統通過多個空間上分離的相機捕捉周圍環境，從而為車輛感知提供豐富的視覺信息。然而，如何從這些分散的觀測中合成一個統一的寬視角圖像，仍然是一個具有挑戰性的問題。近日，一篇題為《Wide View Synthesis from Overlapping Perspective Cameras in Autonomous Driving》的論文提出了一種新的任務形式——寬視角合成（Wide View Synthesis, WVS），旨在從多個透視相機合成指定虛擬視點下的幾何一致的寬視角圖像。該論文由Kaixuan Zhang等五位作者完成，於2026年11月4日提交至arXiv，屬於計算機視覺與模式識別（cs.CV）領域。
與傳統的圖像拼接不同，WVS需要推理三維幾何和可見性，以處理由空間分離的相機中心引起的深度相關視差和遮擋。傳統圖像拼接通常假設場景大致位於同一平面或忽略深度差異，而WVS則必須考慮真實的三維結構，才能生成幾何一致的寬視角圖像。這使得WVS在自動駕駛場景中尤為重要，因為車輛周圍的物體分佈在不同深度，簡單的二維拼接會導致明顯的視覺偽影。
儘管 vanilla 3D Gaussian Splatting (3DGS) 能夠實現高保真的視圖合成，但其依賴逐場景優化（per-scene optimization）的特性限制了其在駕駛場景中的適用性。3DGS通過優化每個場景的高斯表示來重建三維場景，但這個過程通常需要大量的計算時間和迭代，無法滿足自動駕駛實時或快速部署的需求。此外，WVS還引入了額外的挑戰，例如透視投影下的邊緣拉伸（peripheral stretching）以及跨相機的光度不一致性（photometric inconsistencies）。邊緣拉伸是由於透視投影在圖像邊緣處產生較大的畸變，而光度不一致性則源於不同相機的曝光、白平衡等參數差異。
為了解決這些挑戰，作者提出了Wide-View Gaussian Splatting (WV-GS)，一種前饋（feed-forward）的高斯潑濺框架，能夠在無需逐場景優化的情況下合成寬視角圖像。具體而言，WV-GS引入了兩項關鍵技術：分段透視渲染（Piecewise Perspective Rendering, PPR）和空間仿射光度建模（Spatial Affine Photometric Modeling, SAPM）。PPR通過共享同一相機中心的局部透視投影來減輕邊緣拉伸，它將寬視角圖像分解為多個局部透視投影，每個投影覆蓋較小的視場角，從而減少邊緣畸變。SAPM則在訓練過程中考慮相機相關的光度變化，通過學習每個相機的仿射變換來校正光度差異，從而提高合成圖像的一致性。
此外，作者還引入了WideDrive，一個提供密集真實寬視角圖像的合成基準數據集，並針對真實世界數據集採用了一種基於LiDAR投影的稀疏參考協議。WideDrive包含了多種駕駛場景下的合成數據，能夠為WVS任務提供高質量的監督信號。對於真實數據集，由於難以獲得密集的真實寬視角圖像，作者利用LiDAR點雲投影生成稀疏的參考圖像，以評估模型在真實場景中的性能。
在多數據集上的大量實驗表明，WV-GS在WVS任務上具有有效性。作者在多個數據集上進行了評估，包括合成數據集和真實數據集，結果驗證了WV-GS在生成幾何一致且光度一致的寬視角圖像方面的優勢。論文摘要中提到，數據集和代碼將公開釋放，這將進一步推動該領域的研究。
總的來説，這項工作的主要貢獻包括：首次形式化了寬視角合成（WVS）任務，明確了其與圖像拼接的區別；提出了WV-GS框架，通過PPR和SAPM解決了邊緣拉伸和光度不一致性問題，並實現了無需逐場景優化的高效合成；構建了WideDrive合成基準，併為真實數據集設計了稀疏參考協議；通過大量實驗驗證了方法的有效性。這些貢獻為自動駕駛中的多相機視覺合成提供了新的思路和工具，有望在未來提升自動駕駛系統的環境感知能力。