音声・視覚ナビゲーションのためのハイブリッドMamba

2020年に確立された畳み込みニューラルネットワークとリカレントアーキテクチャを中心としたパラダイム以来、音声・視覚ナビゲーションの基本的なバックボーンネットワークは5年以上にわたって本質的な変化を遂げておらず、動的なマルチモーダルシーケンスの効率的な表現をサポートするには不十分でした。この長年のボトルネックに対処するため、Yi Wang氏とYinfeng Yu氏は、Sambaという新しいハイブリッドMambaアーキテクチャを提案しました。Sambaの主要な革新は2つのコンポーネントにあります。第一に、適応選択機能を備えたMamba状態エンコーダ（M-SE）を使用して、従来のGRUを時間集約に置き換えます。第二に、Audio Mamba Encoder（AME）を構築し、スペクトログラムにおける大域的な時周波数依存性の捕捉における畳み込み演算子の限界を克服します。実験では、Sambaは未学習の音源や未見のシーンに対して優れた汎化性能を示しました。Matterport3Dデータセットでは、既存の最先端モデルと比較してナビゲーション成功率（SR）が11.3%向上し、より細かいシーン構造を持つReplicaデータセットではさらに顕著な性能向上が確認されました。このような現代的なアーキテクチャの再構築により、低い計算コストでより強力な身体化表現能力が実現され、音声・視覚ナビゲーション分野のパラダイム進化のための堅牢な技術経路を提供します。本論文はIEEE SMC 2026で採択されています。また、Sambaの設計は他のマルチモーダル知覚タスクにも拡張可能であり、身体化知能のさらなる発展に貢献することが期待されます。