在自動駕駛領域，多視角相機系統因能夠提供廣闊的視覺覆蓋而被廣泛採用。這種系統透過多個空間上分離的相機捕捉周圍環境，從而為車輛感知提供豐富的視覺資訊。然而，如何從這些分散的觀測中合成一個統一的寬視角影像，仍然是一個具有挑戰性的問題。近日，一篇題為《Wide View Synthesis from Overlapping Perspective Cameras in Autonomous Driving》的論文提出了一種新的任務形式——寬視角合成（Wide View Synthesis, WVS），旨在從多個透視相機合成指定虛擬視點下的幾何一致的寬視角影像。該論文由Kaixuan Zhang等五位作者完成，於2026年11月4日提交至arXiv，屬於計算機視覺與模式識別（cs.CV）領域。
與傳統的影像拼接不同，WVS需要推理三維幾何和可見性，以處理由空間分離的相機中心引起的深度相關視差和遮擋。傳統影像拼接通常假設場景大致位於同一平面或忽略深度差異，而WVS則必須考慮真實的三維結構，才能生成幾何一致的寬視角影像。這使得WVS在自動駕駛場景中尤為重要，因為車輛周圍的物體分佈在不同深度，簡單的二維拼接會導致明顯的視覺偽影。
儘管 vanilla 3D Gaussian Splatting (3DGS) 能夠實現高保真的檢視合成，但其依賴逐場景最佳化（per-scene optimization）的特性限制了其在駕駛場景中的適用性。3DGS透過最佳化每個場景的高斯表示來重建三維場景，但這個過程通常需要大量的計算時間和迭代，無法滿足自動駕駛即時或快速部署的需求。此外，WVS還引入了額外的挑戰，例如透視投影下的邊緣拉伸（peripheral stretching）以及跨相機的光度不一致性（photometric inconsistencies）。邊緣拉伸是由於透視投影在影像邊緣處產生較大的畸變，而光度不一致性則源於不同相機的曝光、白平衡等引數差異。
為了解決這些挑戰，作者提出了Wide-View Gaussian Splatting (WV-GS)，一種前饋（feed-forward）的高斯潑濺框架，能夠在無需逐場景最佳化的情況下合成寬視角影像。具體而言，WV-GS引入了兩項關鍵技術：分段透視渲染（Piecewise Perspective Rendering, PPR）和空間仿射光度建模（Spatial Affine Photometric Modeling, SAPM）。PPR透過共享同一相機中心的區域性透視投影來減輕邊緣拉伸，它將寬視角影像分解為多個區域性透視投影，每個投影覆蓋較小的視場角，從而減少邊緣畸變。SAPM則在訓練過程中考慮相機相關的光度變化，透過學習每個相機的仿射變換來校正光度差異，從而提高合成影像的一致性。
此外，作者還引入了WideDrive，一個提供密集真實寬視角影像的合成基準資料集，並針對真實世界資料集採用了一種基於LiDAR投影的稀疏參考協議。WideDrive包含了多種駕駛場景下的合成資料，能夠為WVS任務提供高質量的監督訊號。對於真實資料集，由於難以獲得密集的真實寬視角影像，作者利用LiDAR點雲投影生成稀疏的參考影像，以評估模型在真實場景中的效能。
在多資料集上的大量實驗表明，WV-GS在WVS任務上具有有效性。作者在多個資料集上進行了評估，包括合成資料集和真實資料集，結果驗證了WV-GS在生成幾何一致且光度一致的寬視角影像方面的優勢。論文摘要中提到，資料集和程式碼將公開釋放，這將進一步推動該領域的研究。
總的來說，這項工作的主要貢獻包括：首次形式化了寬視角合成（WVS）任務，明確了其與影像拼接的區別；提出了WV-GS框架，透過PPR和SAPM解決了邊緣拉伸和光度不一致性問題，並實現了無需逐場景最佳化的高效合成；構建了WideDrive合成基準，併為真實資料集設計了稀疏參考協議；透過大量實驗驗證了方法的有效性。這些貢獻為自動駕駛中的多相機視覺合成提供了新的思路和工具，有望在未來提升自動駕駛系統的環境感知能力。