自律システムやスマートインダストリーの展開では、計算を近センサー、エッジ、クラウドのリソースに分散させる動きが進んでおり、厳しいエネルギー、遅延、信頼性の予算のもとで実行時適応性が求められています。実際には、各ポイントで何を計算し何を送信するかを決めることが極めて重要です。しかし、カメラやLiDAR/深度センサーなどのマルチモーダルセンサースイートがエッジで急増する中で、従来のアプローチのほとんどは、(i) 強力なサーバー上でモダリティを融合するか、(ii) クロスモーダル依存関係を無視した単一モーダルの近センサーフィルターを適用するかのいずれかであり、冗長な送信やイベントの見逃しにつながっていました。
この問題に対処するため、Sanggeon Yun氏ら8名の著者はFusionSenseを提案しています。これはエネルギー制約のある自律エッジシステム向けの融合認識型インテリジェントセンシングフレームワークです。中核となるのは軽量な近センサー分類器で、そのトレーニングは3つのステップで構成されます。まず、サーバー側の融合モデルが下流タスクを学習します。次に、フィルターアウトセーフ(FoS)ラベルが、融合決定に対する各モダリティの必要性を定量化します。最後に、近センサー予測を補助信号として注入することにより、エッジ側の融合モデルが圧縮されます。その結果、計算と通信を同時に削減する実行時意思決定層が実現し、センサー数に比例して線形にスケールします。
SynDroneデータセット上のデュアルモダリティ(RGB+深度/LiDAR)設定では、FusionSenseは単一モーダルフィルターよりも大幅に高いデータ削減率でタスク品質を維持します。エンドツーエンドの性能向上は顕著で、FoI普及率1%で最大33倍のエネルギー削減、10%で11倍の削減、固定30%のデータ削減率で品質損失を92.3%削減、最高の従来フィルタリングベースラインと比較して約1.5倍のエネルギー節約を実現します。この研究はISLPED 2026に採択されています。