近年來,基於DETR(Detection Transformer)的融合模型在多模態數據關聯任務中表現出色。然而,在視覺到航標關聯任務中,傳統基線模型需要變換器隱式學習從世界座標到圖像像素的複雜幾何投影,這增加了模型的計算負擔和推理難度。針對這一問題,來自Arquimea研究中心的Borja Carrillo-Perez在提交給MaCVi 2026挑戰賽的技術報告中提出了一種輕量級改進方案。
該方案的核心是在基線DETR解碼器中引入一個額外的專用多層感知機(MLP),稱為QueryMLP。QueryMLP的輸入是海圖提供的浮標世界空間距離和方位角,以及慣性測量單元(IMU)提供的姿態數據。它的任務是顯式預測每個浮標的水線接觸點在圖像中的像素座標。這些預測的像素座標被附加到基線解碼器的查詢向量中,作為每個浮標的直接空間先驗。這樣做使得變換器解碼器無需再獨立學習複雜的幾何投影關係,從而減輕了其幾何推理的負擔。
實驗結果表明,該方法在保留的測試集上取得了優異的性能:總體得分0.7386,F1分數0.8055,平均交併比(mIoU)0.6718。在所有提交的方案中,該方法位列第二,證明了其有效性和競爭力。報告還提供了5頁技術細節和3張圖表,代碼已公開發布。
該工作不僅提升了視覺與海圖數據關聯的準確性,還為未來多模態融合任務提供了新的思路。通過顯式建模幾何投影,模型可以更高效地利用傳感器數據,在自動駕駛、海洋監測等領域具有廣闊的應用前景。進一步地,QueryMLP的設計思想可以推廣到其他需要幾何先驗的視覺任務中,例如三維物體檢測或全景分割,其中從已知傳感器配置中預測二維投影座標能夠顯著簡化深度網絡的推理過程。