FusionSense：三階段近感測器學習實現執行時自適應多模態邊緣智慧
FusionSense是一種面向能源受限自主邊緣系統的融合感知智慧框架。透過三階段訓練流程（伺服器端融合模型學習、濾除安全標籤量化模態必要性、注入近感測器預測壓縮邊緣融合模型），在執行時聯合減少計算與通訊開銷。在SynDrone雙模態（RGB+深度/雷射雷達）測試中，任務質量保持的同時實現了高達33倍的能量節省（1%感興趣區域出現率），質量損失減少92.3%。
文章情報
要點
- 提出三階段近感測器學習方法，伺服器端訓練融合模型後生成濾除安全標籤，指導邊緣側模態選擇。
- 執行時決策層聯合最佳化計算與傳輸，感測器數量擴充套件時複雜度線性增長。
- 在SynDrone資料集上，1%感興趣區域出現率下能耗降低33倍，固定30%資料縮減時質量損失減少92.3%。
為什麼重要
這條新聞值得關注，因為提出三階段近感測器學習方法，伺服器端訓練融合模型後生成濾除安全標籤，指導邊緣側模態選擇。
技術影響
可能影響模型選型、推理成本、產品能力和評測基準。
自主系統與智慧工業部署正日益將計算分散在近感測器、邊緣和雲端資源之間。嚴格的能耗、延遲和可靠性要求迫使系統具備執行時自適應性，而決定在不同節點計算和傳輸什麼內容至關重要。然而，隨著多模態感測器（如相機、雷射雷達/深度等）在邊緣側激增，現有方法要麼在強大伺服器上進行模態融合，要麼應用忽略跨模態依賴的單模態近感測器濾波器，導致冗餘傳輸或事件遺漏。
針對這一挑戰，Sanggeon Yun等人在被ISLPED 2026接收的論文中提出了FusionSense——一種面向能源受限自主邊緣系統的融合感知智慧框架。其核心是一種三階段訓練流程：首先在伺服器端訓練融合模型以學習下游任務；其次，透過濾除安全（FoS）標籤量化每個模態相對於融合決策的必要性；最後，將近感測器預測作為輔助訊號注入，壓縮邊緣側融合模型。這一流程產生了一個執行時決策層，能夠聯合減少計算與通訊開銷，並且計算複雜度隨感測器數量線性增長。
在採用RGB和深度/雷射雷達的雙模態SynDrone資料集上進行評估，FusionSense表現出色。在保持任務質量的同時，它實現了遠超單模態濾波器的資料縮減率：當感興趣區域出現率為1%時，能耗降低高達33倍；出現率為10%時，降低11倍；在固定30%資料縮減條件下，質量損失減少92.3%。與最佳先前濾波基線相比，能量節省約提高1.5倍。這些結果充分證明了融合感知的智慧感測能夠為邊緣系統帶來顯著的能效提升。
該論文以arXiv預印本2605.22868的形式公開，並已被ISLPED 2026會議接收。其三位作者分別來自University of Texas at Arlington、University of Notre Dame和Korea University等機構。