跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

Scale-Gest:面向裝置端手勢檢測的可擴充套件模型空間合成與執行時選擇

文章摘要

Scale-Gest提出一種執行時自適應手勢檢測框架,透過擴充套件tiny-YOLO架構家族、引入裝置校準的ACE(精度-複雜度-能量)配置檔案以及輕量級執行時控制器,在電池供電裝置上實現高效手勢檢測。相比單一檢測器,每幀能耗降低4倍(從6.9mJ降至1.6mJ),同時保持事件級F1分數0.8-0.9和平均延遲6ms。該工作還引入了時間標註的駕駛員模擬手勢資料集DSG-18。

來源arXiv Computer Vision作者: Abdul Basit, Saim Rehman, Muhammad Shafique
Scale-Gest:面向裝置端手勢檢測的可擴充套件模型空間合成與執行時選擇
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

在移動裝置和邊緣計算場景中,基於機器學習的手勢檢測面臨著即時性、能效和記憶體等多重嚴峻挑戰。特別是當裝置電池電量波動時,傳統的固定檢測器部署方式難以根據即時的資源約束動態調整,導致效能與能耗之間的權衡無法最優。為解決這一問題,研究人員提出了一種名為Scale-Gest的新型執行時自適應手勢檢測框架。

Scale-Gest的核心創新在於將單一的檢測器空間擴充套件為一個密集的tiny-YOLO架構家族。這一家族包含多種不同深度、解析度和步長配置的模型變體。透過系統性地分析這些模型在不同操作點下的精度、複雜度和能量消耗,研究團隊為每個裝置生成了多個校準的ACE(精度-複雜度-能量)配置檔案。這些配置檔案為使用者提供了在不同電池電量和效能需求下最佳化檢測效能的靈活選擇。

在執行時,一個輕量級的控制器會根據使用者預先定義的約束條件(如最低精度要求)和當前電池電量,動態選擇最合適的ACE模式。這一選擇過程能夠即時平衡精度、延遲和能耗。此外,Scale-Gest還引入了一個運動感知的手勢追蹤ROI門控模組,該模組可以識別並裁剪出包含手勢的區域,從而進一步降低後續檢測的計算複雜度。

為了評估系統的實際效能,研究人員在真實的駕駛模擬場景中進行了實驗,並引入了時間標註的駕駛員模擬手勢資料集DSG-18。該資料集包含了多種常見駕駛手勢,並提供了精準的時間標註。實驗結果表明,與使用單一檢測器的傳統方法相比,Scale-Gest在保持高事件級F1分數(0.8-0.9)的同時,顯著降低了能耗和延遲。在一臺電池供電的筆記型電腦上執行手勢識別任務時,ACE控制器將每幀能耗從6.9mJ降低至1.6mJ,降幅達到4倍,同時平均檢測延遲僅為6毫秒。

這一研究成果已被設計自動化會議(DAC 2026)接收。相關程式碼和資料集已經公開發布,為邊緣裝置上的高效手勢檢測提供了一種新穎且實用的解決方案。該框架不僅適用於駕駛員手勢識別,還可推廣至其他需要動態資源適配的邊緣AI應用場景。

展開要點與分析

文章情報

投資人進階

要點

  • 提出Scale-Gest框架,動態選擇最適合當前電池和效能約束的tiny-YOLO變體進行手勢檢測。
  • 引入ACE(精度-複雜度-能量)配置檔案,透過分析不同模型-解析度-步長操作點校準裝置。
  • 在電池供電筆記本上實現每幀能耗降低4倍(從6.9mJ降至1.6mJ),事件級F1保持0.8-0.9,平均延遲僅6ms。
  • 引入時間標註的駕駛員模擬手勢資料集DSG-18,用於真實駕駛場景評估。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。