无人机跟随人员追踪(Follow-me)要求在机载设备上实时运行,但低成本的计算平台只能提供有限的int8计算能力,通常只有每秒几十亿次运算。在典型的跟随距离下,目标人员仅占图像中的10至60像素,单帧外观检测很难将其与复杂的背景区分开来。时间信息是解决这一问题的关键,然而研究人员认为不应依赖复杂的学习型时间模块,而应将时间线索直接编码到输入表示中。
为此,来自塔尔图大学等机构的研究人员开发了EMTS-Det系统。该系统采用五阶段处理流程:首先估计无人机的自我运动(ego-motion),然后将每一帧转换成自我运动归一化的残差运动通道;接着使用一个仅含22k参数、计算量仅7.6 MFLOP的轻量级神经网络检测人员中心;随后利用卡尔曼滤波器在稳定坐标下跟踪锁定目标;最后通过一维卷积分类器验证运动轨迹,其ROC AUC达到了0.941。训练过程中,研究人员使用合成运动课程法,利用与部署环境相同的自我运动代码生成运动通道。
在VisDrone-DET数据集上的消融实验表明,仅使用亮度通道的变体其AP25从0.415骤降至0.051,而同样经过微调的YOLOv8n尽管计算量高出1100倍,其AP25也仅为0.415。EMTS-Det的int8版本在域内AP25达到0.694,在该数据分割上达到0.444。值得注意的是,时间移位模块会降低精度,因此最终部署的检测器是无状态的。论文还记录了int8校准过程中可能发生的静默失败问题,并指出采用最小-最大校准配合传播缓存可以将精度损失控制在0.008 AP以内。
在实际硬件上,EMTS-Det在Raspberry Pi Zero 2W(一款毫瓦级设备)上运行,对1000个真实无人机视频的处理速度达到31.85 FPS,AP25为0.462,召回率0.714;而YOLOv8n仅为1.95 FPS,AP25 0.172。一段57秒的现场测试显示,系统在1.3秒内自动锁定目标,锁定召回率为97.9%,并在经历9次遮挡后全部成功恢复,且没有发生任何误重锁。这些结果证明了EMTS-Det在极低功耗硬件上实现鲁棒实时人员追踪的可行性。