混合曼巴架構用於視聽導航
本文提出Samba，一種混合曼巴架構，用於視聽導航。它採用自適應選擇的曼巴狀態編碼器（M-SE）替代傳統GRU進行時間聚合，並構建音訊曼巴編碼器（AME）以克服卷積運算元在全時頻依賴捕捉上的侷限。在Matterport3D資料集上，導航成功率提升11.3%，在Replica資料集上表現更優。該工作以更低計算成本實現更強具身表徵，為視聽導航正規化演進提供了穩健技術路徑。
自2020年視聽導航領域確立以卷積神經網路和迴圈架構為核心的正規化以來，基礎骨幹網路已超過五年未發生根本性變革，這使得現有模型在高效表徵動態多模態序列方面力不從心。針對這一長期存在的瓶頸，來自研究團隊的Yi Wang和Yinfeng Yu提出了名為Samba的新型混合曼巴架構（Hybrid Mamba for Audio-Visual Navigation）。Samba的核心創新包含兩大關鍵元件：其一，採用自適應選擇機制的曼巴狀態編碼器（M-SE）來替代傳統的門控迴圈單元（GRU），從而更高效地進行時間維度上的聚合；其二，構建了音訊曼巴編碼器（AME），用以彌補卷積操作在捕捉語譜圖全域性時頻依賴關係方面的固有侷限。實驗表明，Samba在面對未聽過的聲音源和未經歷的場景時，展現出卓越的泛化效能。在Matterport3D資料集上，相較現有最先進的模型，其導航成功率（SR）提升了11.3%；而在場景結構更為精細的Replica資料集上，效能提升更為顯著。這種現代化的架構重塑不僅在更低計算成本下釋放了更強的具身表徵能力，也為視聽導航領域的正規化演變提供了一條高度穩健的技術途徑。該工作已被2026年IEEE系統、人與控制論國際會議（IEEE SMC 2026）接收。此外，Samba的設計思路有望推廣至其他多模態感知任務，為具身智慧的進一步發展奠定基礎。