FusionSense：三階段近傳感器學習實現運行時自適應多模態邊緣智能
FusionSense是一種面向能源受限自主邊緣系統的融合感知智能框架。通過三階段訓練流程（服務器端融合模型學習、濾除安全標籤量化模態必要性、注入近傳感器預測壓縮邊緣融合模型），在運行時聯合減少計算與通信開銷。在SynDrone雙模態（RGB+深度/激光雷達）測試中，任務質量保持的同時實現了高達33倍的能量節省（1%感興趣區域出現率），質量損失減少92.3%。
文章情報
要點
- 提出三階段近傳感器學習方法，服務器端訓練融合模型後生成濾除安全標籤，指導邊緣側模態選擇。
- 運行時決策層聯合優化計算與傳輸，傳感器數量擴展時複雜度線性增長。
- 在SynDrone數據集上，1%感興趣區域出現率下能耗降低33倍，固定30%數據縮減時質量損失減少92.3%。
為甚麼重要
這條新聞值得關注，因為提出三階段近傳感器學習方法，服務器端訓練融合模型後生成濾除安全標籤，指導邊緣側模態選擇。
技術影響
可能影響模型選型、推理成本、產品能力和評測基準。
自主系統與智能工業部署正日益將計算分散在近傳感器、邊緣和雲端資源之間。嚴格的能耗、延遲和可靠性要求迫使系統具備運行時自適應性，而決定在不同節點計算和傳輸什麼內容至關重要。然而，隨着多模態傳感器（如相機、激光雷達/深度等）在邊緣側激增，現有方法要麼在強大服務器上進行模態融合，要麼應用忽略跨模態依賴的單模態近傳感器濾波器，導致冗餘傳輸或事件遺漏。
針對這一挑戰，Sanggeon Yun等人在被ISLPED 2026接收的論文中提出了FusionSense——一種面向能源受限自主邊緣系統的融合感知智能框架。其核心是一種三階段訓練流程：首先在服務器端訓練融合模型以學習下游任務；其次，通過濾除安全（FoS）標籤量化每個模態相對於融合決策的必要性；最後，將近傳感器預測作為輔助信號注入，壓縮邊緣側融合模型。這一流程產生了一個運行時決策層，能夠聯合減少計算與通信開銷，並且計算複雜度隨傳感器數量線性增長。
在採用RGB和深度/激光雷達的雙模態SynDrone數據集上進行評估，FusionSense表現出色。在保持任務質量的同時，它實現了遠超單模態濾波器的數據縮減率：當感興趣區域出現率為1%時，能耗降低高達33倍；出現率為10%時，降低11倍；在固定30%數據縮減條件下，質量損失減少92.3%。與最佳先前濾波基線相比，能量節省約提高1.5倍。這些結果充分證明了融合感知的智能傳感能夠為邊緣系統帶來顯著的能效提升。
該論文以arXiv預印本2605.22868的形式公開，並已被ISLPED 2026會議接收。其三位作者分別來自University of Texas at Arlington、University of Notre Dame和Korea University等機構。