混合曼巴架构用于视听导航
本文提出Samba，一种混合曼巴架构，用于视听导航。它采用自适应选择的曼巴状态编码器（M-SE）替代传统GRU进行时间聚合，并构建音频曼巴编码器（AME）以克服卷积算子在全时频依赖捕捉上的局限。在Matterport3D数据集上，导航成功率提升11.3%，在Replica数据集上表现更优。该工作以更低计算成本实现更强具身表征，为视听导航范式演进提供了稳健技术路径。
自2020年视听导航领域确立以卷积神经网络和循环架构为核心的范式以来，基础骨干网络已超过五年未发生根本性变革，这使得现有模型在高效表征动态多模态序列方面力不从心。针对这一长期存在的瓶颈，来自研究团队的Yi Wang和Yinfeng Yu提出了名为Samba的新型混合曼巴架构（Hybrid Mamba for Audio-Visual Navigation）。Samba的核心创新包含两大关键组件：其一，采用自适应选择机制的曼巴状态编码器（M-SE）来替代传统的门控循环单元（GRU），从而更高效地进行时间维度上的聚合；其二，构建了音频曼巴编码器（AME），用以弥补卷积操作在捕捉语谱图全局时频依赖关系方面的固有局限。实验表明，Samba在面对未听过的声音源和未经历的场景时，展现出卓越的泛化性能。在Matterport3D数据集上，相较现有最先进的模型，其导航成功率（SR）提升了11.3%；而在场景结构更为精细的Replica数据集上，性能提升更为显著。这种现代化的架构重塑不仅在更低计算成本下释放了更强的具身表征能力，也为视听导航领域的范式演变提供了一条高度稳健的技术途径。该工作已被2026年IEEE系统、人与控制论国际会议（IEEE SMC 2026）接收。此外，Samba的设计思路有望推广至其他多模态感知任务，为具身智能的进一步发展奠定基础。