リソース制約のあるエッジハードウェア上でAI推論を連続実行すると、従来のベンチマーク評価ではほとんど見えない展開効果が生じる。例えば、ストリーミングビデオにおける時間的不安定性、持続負荷下での熱スロットリング、ワークロード依存の性能変動などである。arXivの新しい論文はこの問題に取り組み、NVIDIA Jetson Orin Nano上で持続的な路側知覚を行うための展開指向の連続エッジ推論システム「Edge-TSR」を提案している。
Edge-TSRは、検出、追跡、細粒度分類、そして軽量なトラック認識型時間安定化メカニズムを統合している。この安定化メカニズムはトラック情報を利用してフレームごとの予測を平滑化し、計算オーバーヘッドをほとんど増やすことなくストリーミング推論の一貫性を向上させる。著者らの中心的な発見は、ベンチマーク中心の評価が実際の展開におけるエッジ推論性能を系統的に過大評価するという点である。3つの最先端ベースラインにおいて、静的画像評価から実世界のストリーミング展開に移行すると、一貫して20〜30%の相対的な性能低下が観察された。
このギャップに対処するため、Edge-TSRは時間推論安定化を導入している。この手法により、フレーム単位の推論ベースラインと比較して分類精度を最大10.16%回復しつつ、連続運転下でリアルタイム性能を持続する。研究チームは多様な実世界の展開条件で完全なシステムを評価し、長時間運転中の推論品質、遅延、スループット、熱挙動を総合的に特徴付けた。
26kmのルートにわたる55分間の車載展開実験では、単一の組み込みデバイス上でクラウドオフロードなしに、安全な熱限界内で16.18 FPSの持続動作を実証した。これらの結果は、実世界のセンシング展開を目的とした連続運転エッジAIシステムには、展開を意識した評価と時間推論安定化が不可欠な要素であることを示している。再現可能な展開中心の評価を支援するため、著者らはサンプル注釈付きストリーミングビデオ評価データセットと完全なシステム実装を公開している。