跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

移动如人:面向毫瓦级硬件的实时空中人员追踪的自我运动归一化时间特征

文章摘要

本文提出EMTS-Det系统,用于无人机上的实时跟随人员追踪,在低功耗硬件上实现高效运行。系统通过自我运动归一化的残差运动通道检测人员,使用仅22k参数的轻量网络,在Raspberry Pi Zero 2W上达到31.85 FPS,性能远超YOLOv8n。

来源arXiv Computer Vision作者: Akbar Anbar Jafari, Cagri Ozcinar, Gholamreza Anbarjafari
移动如人:面向毫瓦级硬件的实时空中人员追踪的自我运动归一化时间特征
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

无人机跟随人员追踪(Follow-me)要求在机载设备上实时运行,但低成本的计算平台只能提供有限的int8计算能力,通常只有每秒几十亿次运算。在典型的跟随距离下,目标人员仅占图像中的10至60像素,单帧外观检测很难将其与复杂的背景区分开来。时间信息是解决这一问题的关键,然而研究人员认为不应依赖复杂的学习型时间模块,而应将时间线索直接编码到输入表示中。

为此,来自塔尔图大学等机构的研究人员开发了EMTS-Det系统。该系统采用五阶段处理流程:首先估计无人机的自我运动(ego-motion),然后将每一帧转换成自我运动归一化的残差运动通道;接着使用一个仅含22k参数、计算量仅7.6 MFLOP的轻量级神经网络检测人员中心;随后利用卡尔曼滤波器在稳定坐标下跟踪锁定目标;最后通过一维卷积分类器验证运动轨迹,其ROC AUC达到了0.941。训练过程中,研究人员使用合成运动课程法,利用与部署环境相同的自我运动代码生成运动通道。

在VisDrone-DET数据集上的消融实验表明,仅使用亮度通道的变体其AP25从0.415骤降至0.051,而同样经过微调的YOLOv8n尽管计算量高出1100倍,其AP25也仅为0.415。EMTS-Det的int8版本在域内AP25达到0.694,在该数据分割上达到0.444。值得注意的是,时间移位模块会降低精度,因此最终部署的检测器是无状态的。论文还记录了int8校准过程中可能发生的静默失败问题,并指出采用最小-最大校准配合传播缓存可以将精度损失控制在0.008 AP以内。

在实际硬件上,EMTS-Det在Raspberry Pi Zero 2W(一款毫瓦级设备)上运行,对1000个真实无人机视频的处理速度达到31.85 FPS,AP25为0.462,召回率0.714;而YOLOv8n仅为1.95 FPS,AP25 0.172。一段57秒的现场测试显示,系统在1.3秒内自动锁定目标,锁定召回率为97.9%,并在经历9次遮挡后全部成功恢复,且没有发生任何误重锁。这些结果证明了EMTS-Det在极低功耗硬件上实现鲁棒实时人员追踪的可行性。

展开要点与分析

文章情报

工程师进阶

要点

  • EMTS-Det系统仅需22k参数和7.6 MFLOP计算量,在资源受限设备上实现实时人员追踪。
  • 通过自我运动归一化残差运动通道,系统能在10-60像素的小目标上有效区分人与背景。
  • 在Raspberry Pi Zero 2W上,系统以31.85 FPS运行,AP25达0.462,召回率0.714,而YOLOv8n仅1.95 FPS和0.172 AP25。
  • 系统无需状态记忆,校准精度与浮点模型相差不到0.008 AP。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。