在移動設備和邊緣計算場景中,基於機器學習的手勢檢測面臨着實時性、能效和內存等多重嚴峻挑戰。特別是當設備電池電量波動時,傳統的固定檢測器部署方式難以根據實時的資源約束動態調整,導致性能與能耗之間的權衡無法最優。為解決這一問題,研究人員提出了一種名為Scale-Gest的新型運行時自適應手勢檢測框架。
Scale-Gest的核心創新在於將單一的檢測器空間擴展為一個密集的tiny-YOLO架構家族。這一家族包含多種不同深度、分辨率和步長配置的模型變體。通過系統性地分析這些模型在不同操作點下的精度、複雜度和能量消耗,研究團隊為每個設備生成了多個校準的ACE(精度-複雜度-能量)配置文件。這些配置文件為用户提供了在不同電池電量和性能需求下優化檢測性能的靈活選擇。
在運行時,一個輕量級的控制器會根據用户預先定義的約束條件(如最低精度要求)和當前電池電量,動態選擇最合適的ACE模式。這一選擇過程能夠實時平衡精度、延遲和能耗。此外,Scale-Gest還引入了一個運動感知的手勢追蹤ROI門控模塊,該模塊可以識別並裁剪出包含手勢的區域,從而進一步降低後續檢測的計算複雜度。
為了評估系統的實際性能,研究人員在真實的駕駛模擬場景中進行了實驗,並引入了時間標註的駕駛員模擬手勢數據集DSG-18。該數據集包含了多種常見駕駛手勢,並提供了精準的時間標註。實驗結果表明,與使用單一檢測器的傳統方法相比,Scale-Gest在保持高事件級F1分數(0.8-0.9)的同時,顯著降低了能耗和延遲。在一台電池供電的筆記本電腦上運行手勢識別任務時,ACE控制器將每幀能耗從6.9mJ降低至1.6mJ,降幅達到4倍,同時平均檢測延遲僅為6毫秒。
這一研究成果已被設計自動化會議(DAC 2026)接收。相關代碼和數據集已經公開發布,為邊緣設備上的高效手勢檢測提供了一種新穎且實用的解決方案。該框架不僅適用於駕駛員手勢識別,還可推廣至其他需要動態資源適配的邊緣AI應用場景。