オンデバイス機械学習のためのフルセンサー対応スマートアイウェアプラットフォーム
本論文では、STM32N6マイクロコントローラとその内蔵NPUを活用し、クラウド依存を排除してレイテンシを最小化しプライバシーを保護するスマートアイウェアプラットフォームARGOを提案する。ハードウェア、ファームウェア、AIの全体最適設計により、最適化されたYOLOv11モデルを展開し、実時間都市障害物認識を実現。NPU効率実行のためのHead-wise Parallel Attention (HPA)を導入し、厳格なメモリ制約下でmAP50-95 24、メモリフットプリント2.483 MBを達成。マルチモーダルセンサーを統合し、10 FPSで動作、200 mAhバッテリで約113分間の連続動作を実証した。
研究者らは、人間工学に基づく快適性、高い計算処理能力、エネルギー効率を両立するスマートアイウェアプラットフォーム「ARGO」を発表した。クラウド依存のソリューションとは異なり、ARGOはSTM32N6マイクロコントローラとその内蔵ニューラル処理ユニット（NPU）を活用し、デバイス上で機械学習推論を実行することで、レイテンシを最小限に抑え、ローカルデータ処理によりユーザープライバシーを保護する。本研究の主な貢献は、ハードウェア、ファームウェア、人工知能の全体最適設計にあり、特に実時間都市障害物認識に向けて最適化されたYOLOv11モデルの展開を中心としている。
NPUとの互換性を確保するため、チームは「Head-wise Parallel Attention (HPA)」と呼ばれるアーキテクチャ改善を導入した。これは元の計算論理を維持しながら効率的なアクセラレータ実行を可能にする。モデルは「Walking On The Road (WOTR)」データセットでトレーニングされ、最終的な構成では厳格なメモリ制約下でmAP50-95 24を達成、メモリフットプリントはわずか2.483 MBである。
ARGOプラットフォームはRGBカメラ、ToFセンサー、マイク、環境センサーなどマルチモーダルセンサースイートを統合し、10 FPSでデータを処理する。200 mAhバッテリで連続約113分の動作が可能である。これらの結果は、高性能でプライバシーを保護し社会的に受け入れられる補助デバイスの実現可能性を示し、競争力のあるエッジAIソリューションには緊密に統合された学際的協調設計がますます必要であることを強調している。
本研究は、EssilorLuxotticaとミラノ工科大学の共同研究センター「Smart Eyewear Lab」で実施され、2026年6月17日にarXivに論文が掲載された。