在移動裝置和邊緣計算場景中,基於機器學習的手勢檢測面臨著即時性、能效和記憶體等多重嚴峻挑戰。特別是當裝置電池電量波動時,傳統的固定檢測器部署方式難以根據即時的資源約束動態調整,導致效能與能耗之間的權衡無法最優。為解決這一問題,研究人員提出了一種名為Scale-Gest的新型執行時自適應手勢檢測框架。
Scale-Gest的核心創新在於將單一的檢測器空間擴充套件為一個密集的tiny-YOLO架構家族。這一家族包含多種不同深度、解析度和步長配置的模型變體。透過系統性地分析這些模型在不同操作點下的精度、複雜度和能量消耗,研究團隊為每個裝置生成了多個校準的ACE(精度-複雜度-能量)配置檔案。這些配置檔案為使用者提供了在不同電池電量和效能需求下最佳化檢測效能的靈活選擇。
在執行時,一個輕量級的控制器會根據使用者預先定義的約束條件(如最低精度要求)和當前電池電量,動態選擇最合適的ACE模式。這一選擇過程能夠即時平衡精度、延遲和能耗。此外,Scale-Gest還引入了一個運動感知的手勢追蹤ROI門控模組,該模組可以識別並裁剪出包含手勢的區域,從而進一步降低後續檢測的計算複雜度。
為了評估系統的實際效能,研究人員在真實的駕駛模擬場景中進行了實驗,並引入了時間標註的駕駛員模擬手勢資料集DSG-18。該資料集包含了多種常見駕駛手勢,並提供了精準的時間標註。實驗結果表明,與使用單一檢測器的傳統方法相比,Scale-Gest在保持高事件級F1分數(0.8-0.9)的同時,顯著降低了能耗和延遲。在一臺電池供電的筆記型電腦上執行手勢識別任務時,ACE控制器將每幀能耗從6.9mJ降低至1.6mJ,降幅達到4倍,同時平均檢測延遲僅為6毫秒。
這一研究成果已被設計自動化會議(DAC 2026)接收。相關程式碼和資料集已經公開發布,為邊緣裝置上的高效手勢檢測提供了一種新穎且實用的解決方案。該框架不僅適用於駕駛員手勢識別,還可推廣至其他需要動態資源適配的邊緣AI應用場景。