本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

人間のように動く:ミリワット級ハードウェアでのリアルタイム空中人物追跡のための自己運動正規化時間特徴

記事の要約

本論文では、ドローン上でのリアルタイムフォロー・ミー人物追跡を低電力ハードウェアで実現するEMTS-Detシステムを提案。自己運動正規化残差運動チャネルを用いて人物を検出し、22kパラメータの軽量ネットワークでRaspberry Pi Zero 2W上で31.85 FPSを達成し、YOLOv8nを大幅に上回る性能を示す。

ソースarXiv Computer Vision著者: Akbar Anbar Jafari, Cagri Ozcinar, Gholamreza Anbarjafari
人間のように動く:ミリワット級ハードウェアでのリアルタイム空中人物追跡のための自己運動正規化時間特徴
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

ドローンによるフォロー・ミー人物追跡は、機体上でリアルタイムに動作する必要があるが、低コストのコンパニオンコンピュータは限られたint8計算能力(数GFLOP/s)しか提供しない。典型的な追跡距離では、人物はわずか10~60ピクセルに過ぎず、単一フレームの外観検出では背景と区別できない。時間情報が鍵となるが、複雑な深層学習モジュールに頼るのではなく、入力表現に直接組み込むべきである。

そこで研究者らは、EMTS-Detシステムを提案した。これは5段階の処理からなる:まずドローンの自己運動(ego-motion)を推定し、各フレームを自己運動正規化残差運動チャネルに変換する。次に、わずか22kパラメータ、7.6 MFLOPの軽量ネットワークで人物中心を検出し、カルマンフィルタを用いて安定化座標でターゲットを追跡する。最後に、1次元畳み込み分類器で人間の動きを検証する(ROC AUC 0.941)。トレーニングは、実装と同じ自己運動コードで生成された合成運動カリキュラムを用いる。

VisDrone-DETデータセットでのアブレーション実験では、輝度のみの変種がAP25を0.415から0.051に低下させた。同様に微調整したYOLOv8nは計算量が1100倍多いにもかかわらずAP25は0.415に留まった。EMTS-Detのint8版はドメイン内でAP25 0.694、この分割で0.444を達成した。時間シフトモジュールは精度を低下させるため、最終的な検出器はステートレスである。論文ではint8キャリブレーションにおけるサイレント障害も文書化されており、伝搬キャッシュを用いた最小最大キャリブレーションが浮動小数点と0.008 AP以内の差であることを示している。

Raspberry Pi Zero 2W(ミリワット級デバイス)上で、システムは1000の実世界UAVビデオに対して31.85 FPS、AP25 0.462、再現率0.714を達成した。一方YOLOv8nは1.95 FPS、AP25 0.172に過ぎない。57秒のフィールドシーケンスでは、1.3秒で自動ロック、ロック再現率97.9%、9回のオクルージョンからの回復、誤った再ロックはゼロであった。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • EMTS-Detは22kパラメータ、7.6 MFLOPの計算量でリソース制約のあるデバイス上でリアルタイム人物追跡を実現。
  • 自己運動正規化残差運動チャネルにより、10-60ピクセルの小さなターゲットを背景から効果的に識別。
  • Raspberry Pi Zero 2W上で31.85 FPS、AP25 0.462、再現率0.714を達成し、YOLOv8nの1.95 FPS、AP25 0.172を大幅に上回る。
  • システムは時間的モジュールを必要とせず、キャリブレーション精度は浮動小数点モデルと0.008 AP以内の差。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。