跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

FusionSense:面向运行时自适应多模态边缘智能的三阶段近传感器学习

文章摘要

FusionSense 提出一种融合感知的近传感器智能传感框架,通过三阶段训练流程,在边缘端实现运行时决策,联合减少计算和通信开销,并在双模态无人机数据集上取得最高 33 倍的能耗降低。

来源arXiv Machine Learning作者: Sanggeon Yun, Ryozo Masukawa, Minhyoung Na, Hyunwoo Oh, Yoshiki Yamaguchi, Wenjun Huang, SungHeon Jeong, Mohsen Imani
FusionSense:面向运行时自适应多模态边缘智能的三阶段近传感器学习
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

FusionSense 是一套面向能量受限自主边缘系统的融合感知智能传感框架。该论文由 Sanggeon Yun 等八位作者完成,已于 2026 年 5 月 19 日提交至 arXiv(编号 2605.22868,属于 cs.LG 机器学习分类),并被 ISLPED 2026 会议接收。

研究背景方面,自主系统与智能工业部署正越来越多地把计算任务分散到近传感器端、边缘端与云端三层资源上,而严格的能量、延迟与可靠性预算都要求系统具备运行时自适应能力。在实际部署中,决定在每一环节该计算什么、传输什么是关键问题。然而随着摄像头、LiDAR/深度传感器等多模态传感套件在边缘端迅速普及,以往的方法大致分为两类:其一是把多模态融合放在算力强大的服务器上完成,其二是在近传感器端施加单模态过滤器。前者带来高昂的通信开销,后者则忽略了跨模态之间的依赖关系,最终都导致冗余传输或漏检事件。

针对这一矛盾,FusionSense 提出了一套融合感知的智能传感方案,其核心是在近传感器端部署轻量级分类器,并通过三步流程完成训练。第一步,在服务器端训练一个融合模型来学习下游任务;第二步,引入“可滤除安全”(filter-out-safe,FoS)标签,用以量化每一种模态相对于融合决策的必要性;第三步,把近传感器的预测结果作为辅助信号注入边缘端融合模型,从而对边缘侧融合模型进行压缩。由此得到的运行时决策层能够同时降低计算与通信开销,并且其规模随传感器数量的增长呈线性扩展。

在实验评估中,作者采用 SynDrone 数据集上的双模态(RGB 加深度/LiDAR)配置。结果显示,FusionSense 在数据削减率显著高于单模态过滤器的情况下仍能维持任务质量。端到端收益十分可观:当 FoI(感兴趣帧)出现率为 1% 时,能耗最多降低 33 倍;当出现率为 10% 时,能耗降低 11 倍;在固定 30% 数据削减的条件下,质量损失减少 92.3%;与最佳的先前进过滤基线相比,其节能效果还高出约 1.5 倍。

总体来看,这项工作针对边缘智能中一个长期存在的权衡问题给出了可落地的思路:不再在服务器端做全部融合,也不在传感器端做彼此孤立的粗筛,而是通过标签化的模态必要性度量与辅助信号注入,让近传感器决策与融合任务保持一致,从而在能量、延迟与任务质量之间取得更好的平衡。

展开要点与分析

文章情报

工程师进阶

要点

  • 提出三阶段训练流程:服务器端融合模型学习、过滤安全标签量化模态必要性、边缘端融合模型压缩。
  • 运行时决策层可随传感器数量线性扩展,联合优化计算与通信。
  • 在 SynDrone 双模态数据集上,能耗降低最高达 33 倍(1% FoI 流行率),10% 流行率下降低 11 倍。
  • 固定 30% 数据缩减率下,质量损失减少 92.3%,能耗节省约为最佳基线 1.5 倍。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。