無人機跟隨人員追蹤(Follow-me)要求在機載裝置上即時執行,但低成本的計算平臺只能提供有限的int8計算能力,通常只有每秒幾十億次運算。在典型的跟隨距離下,目標人員僅佔影像中的10至60畫素,單幀外觀檢測很難將其與複雜的背景區分開來。時間資訊是解決這一問題的關鍵,然而研究人員認為不應依賴複雜的學習型時間模組,而應將時間線索直接編碼到輸入表示中。
為此,來自塔爾圖大學等機構的研究人員開發了EMTS-Det系統。該系統採用五階段處理流程:首先估計無人機的自我運動(ego-motion),然後將每一幀轉換成自我運動歸一化的殘差運動通道;接著使用一個僅含22k引數、計算量僅7.6 MFLOP的輕量級神經網路檢測人員中心;隨後利用卡爾曼濾波器在穩定座標下跟蹤鎖定目標;最後透過一維卷積分類器驗證運動軌跡,其ROC AUC達到了0.941。訓練過程中,研究人員使用合成運動課程法,利用與部署環境相同的自我運動程式碼生成運動通道。
在VisDrone-DET資料集上的消融實驗表明,僅使用亮度通道的變體其AP25從0.415驟降至0.051,而同樣經過微調的YOLOv8n儘管計算量高出1100倍,其AP25也僅為0.415。EMTS-Det的int8版本在域內AP25達到0.694,在該資料分割上達到0.444。值得注意的是,時間移位模組會降低精度,因此最終部署的檢測器是無狀態的。論文還記錄了int8校準過程中可能發生的靜默失敗問題,並指出採用最小-最大校準配合傳播快取可以將精度損失控制在0.008 AP以內。
在實際硬體上,EMTS-Det在Raspberry Pi Zero 2W(一款毫瓦級裝置)上執行,對1000個真實無人機影片的處理速度達到31.85 FPS,AP25為0.462,召回率0.714;而YOLOv8n僅為1.95 FPS,AP25 0.172。一段57秒的現場測試顯示,系統在1.3秒內自動鎖定目標,鎖定召回率為97.9%,並在經歷9次遮擋後全部成功恢復,且沒有發生任何誤重鎖。這些結果證明了EMTS-Det在極低功耗硬體上實現魯棒即時人員追蹤的可行性。