エッジデバイス上での機械学習ベースのジェスチャ検出は、リアルタイム性能、エネルギー消費、メモリ制約の厳しい条件下で実現する必要があり、特にバッテリーレベルが変動するモバイルデバイスでは困難です。従来のEdgeAI展開は通常、単一の固定検出器に依存しており、リソース制約に応じた最適化が制限されていました。この問題に対処するため、研究者らはScale-Gestという新しいランタイム適応型ジェスチャ検出フレームワークを提案しました。
Scale-Gestの主な革新は、検出器空間を単一モデルではなく、密なtiny-YOLOアーキテクチャのファミリーに拡張した点にあります。このファミリーには、異なる深さ、解像度、ストライド設定を持つ多様なモデルバリアントが含まれます。研究チームは、これらのモデルの動作点における精度、複雑性、エネルギー消費を体系的に分析し、各デバイスに対して複数のキャリブレーション済みACE（精度-複雑性-エネルギー）プロファイルを生成しました。これらのプロファイルにより、バッテリー残量や性能要件に応じて検出性能を柔軟に最適化できます。
ランタイムでは、軽量なコントローラがユーザー定義の制約（最低精度など）と現在のバッテリーレベルに基づいて最適なACEモードを動的に選択します。この選択プロセスにより、精度、遅延、エネルギー消費のバランスがリアルタイムで調整されます。さらに、動きを認識するハンドジェスチャ追跡ROIゲートモジュールが、ジェスチャを含む領域を特定して入力画像をクロッピングし、後続の検出処理の計算複雑性を低減します。
システムの実性能を評価するため、実際の運転シナリオを模擬した実験が行われ、時間注釈付きのドライバーシミュレーションジェスチャデータセットDSG-18が導入されました。このデータセットには、一般的な運転中のジェスチャが複数含まれ、正確な時間ラベルが付与されています。実験結果は、単一検出器を用いた従来手法と比較して、Scale-Gestが高いイベントレベルF1スコア（0.8～0.9）を維持しながら、エネルギーと遅延を大幅に削減することを示しました。バッテリー駆動のノートPCでジェスチャストリームを実行した場合、ACEコントローラによりフレームあたりのエネルギーが6.9mJから1.6mJへと4倍削減され、平均遅延は6ミリ秒に抑えられました。
本研究成果は、設計自動化会議（DAC 2026）に採択されました。関連コードとデータセットは公開されており、エッジデバイス上での効率的なジェスチャ検出に新たな道を開きます。このフレームワークは運転中のジェスチャ認識に限らず、動的なリソース適応が必要なその他のエッジAIアプリケーションにも応用可能です。