跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

Scale-Gest:面向設備端手勢檢測的可擴展模型空間合成與運行時選擇

文章摘要

Scale-Gest提出一種運行時自適應手勢檢測框架,通過擴展tiny-YOLO架構家族、引入設備校準的ACE(精度-複雜度-能量)配置文件以及輕量級運行時控制器,在電池供電設備上實現高效手勢檢測。相比單一檢測器,每幀能耗降低4倍(從6.9mJ降至1.6mJ),同時保持事件級F1分數0.8-0.9和平均延遲6ms。該工作還引入了時間標註的駕駛員模擬手勢數據集DSG-18。

來源arXiv Computer Vision作者: Abdul Basit, Saim Rehman, Muhammad Shafique
Scale-Gest:面向設備端手勢檢測的可擴展模型空間合成與運行時選擇
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

在移動設備和邊緣計算場景中,基於機器學習的手勢檢測面臨着實時性、能效和內存等多重嚴峻挑戰。特別是當設備電池電量波動時,傳統的固定檢測器部署方式難以根據實時的資源約束動態調整,導致性能與能耗之間的權衡無法最優。為解決這一問題,研究人員提出了一種名為Scale-Gest的新型運行時自適應手勢檢測框架。

Scale-Gest的核心創新在於將單一的檢測器空間擴展為一個密集的tiny-YOLO架構家族。這一家族包含多種不同深度、分辨率和步長配置的模型變體。通過系統性地分析這些模型在不同操作點下的精度、複雜度和能量消耗,研究團隊為每個設備生成了多個校準的ACE(精度-複雜度-能量)配置文件。這些配置文件為用户提供了在不同電池電量和性能需求下優化檢測性能的靈活選擇。

在運行時,一個輕量級的控制器會根據用户預先定義的約束條件(如最低精度要求)和當前電池電量,動態選擇最合適的ACE模式。這一選擇過程能夠實時平衡精度、延遲和能耗。此外,Scale-Gest還引入了一個運動感知的手勢追蹤ROI門控模塊,該模塊可以識別並裁剪出包含手勢的區域,從而進一步降低後續檢測的計算複雜度。

為了評估系統的實際性能,研究人員在真實的駕駛模擬場景中進行了實驗,並引入了時間標註的駕駛員模擬手勢數據集DSG-18。該數據集包含了多種常見駕駛手勢,並提供了精準的時間標註。實驗結果表明,與使用單一檢測器的傳統方法相比,Scale-Gest在保持高事件級F1分數(0.8-0.9)的同時,顯著降低了能耗和延遲。在一台電池供電的筆記本電腦上運行手勢識別任務時,ACE控制器將每幀能耗從6.9mJ降低至1.6mJ,降幅達到4倍,同時平均檢測延遲僅為6毫秒。

這一研究成果已被設計自動化會議(DAC 2026)接收。相關代碼和數據集已經公開發布,為邊緣設備上的高效手勢檢測提供了一種新穎且實用的解決方案。該框架不僅適用於駕駛員手勢識別,還可推廣至其他需要動態資源適配的邊緣AI應用場景。

展開要點與分析

文章情報

投資人進階

要點

  • 提出Scale-Gest框架,動態選擇最適合當前電池和性能約束的tiny-YOLO變體進行手勢檢測。
  • 引入ACE(精度-複雜度-能量)配置文件,通過分析不同模型-分辨率-步長操作點校準設備。
  • 在電池供電筆記本上實現每幀能耗降低4倍(從6.9mJ降至1.6mJ),事件級F1保持0.8-0.9,平均延遲僅6ms。
  • 引入時間標註的駕駛員模擬手勢數據集DSG-18,用於真實駕駛場景評估。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。

Scale-Gest:面向設備端手勢檢測的可擴展模型空間合成與運行時選擇 | AI News Hub