跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

支援本地機器學習的新型智慧眼鏡平臺

文章摘要

本文介紹ARGO智慧眼鏡平臺,利用STM32N6微控制器及其整合NPU實現本地機器學習,保護隱私並降低延遲。透過軟硬體協同設計,部署最佳化後的YOLOv11模型進行即時城市障礙物識別,引入頭並行注意力機制(HPA)適配NPU,模型僅佔用2.483 MB記憶體,mAP50-95達24。該平臺整合多模態感測器,以10 FPS執行,200 mAh電池續航約113分鐘,展示了高效能、隱私保護且社交可接受輔助裝置的可行性。

來源arXiv Machine Learning作者: Andrea Giudici, Christian Veronesi, Pietro Bartoli, Mario Cali\`o, Aurelio Teliti, Giacomo Gervasoni, Diana Trojaniello, Franco Zappa
支援本地機器學習的新型智慧眼鏡平臺
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

研究人員近日在arXiv上提交了一篇論文,詳細介紹了一款名為ARGO的智慧眼鏡平臺,該平臺旨在將人體工學舒適性、高計算吞吐量和能效融為一體。與依賴雲端的解決方案不同,ARGO採用STM32N6微控制器及其整合的神經網路處理單元(NPU),在裝置本地執行所有機器學習推理,從而顯著降低延遲並保護使用者隱私。這項工作的核心貢獻在於硬體、韌體和人工智慧的整體協同設計,並部署了一個針對即時城市障礙物識別進行最佳化的YOLOv11模型。

為了確保與目標NPU的相容性,研究團隊引入了一種名為頭並行注意力(Head-wise Parallel Attention, HPA)的架構改進。這種機制能夠在保持原始計算邏輯的同時,高效利用NPU加速器。模型在“步行在路上”(Walking On The Road, WOTR)資料集上訓練,最終配置在嚴格的記憶體約束下達到了24的mAP50-95,而記憶體佔用僅為2.483 MB。這一結果展示了在資源受限的嵌入式裝置上實現較高精度的可能性。

ARGO平臺整合了豐富的多模態感測器套件,包括RGB攝像頭、飛行時間(ToF)感測器、麥克風和環境感測器。系統能夠以10幀每秒的速度處理資料,在200毫安時電池供電下,連續工作續航時間約為113分鐘。這些成果證明了構建高效能、保護隱私且社交可接受的輔助裝置的可行性,並強調了有競爭力的邊緣AI解決方案日益需要緊密整合的多學科協同設計方法。

該研究由EssilorLuxottica與米蘭理工大學的聯合研究中心“智慧眼鏡實驗室”完成,論文於2026年6月17日提交至arXiv。

展開要點與分析

文章情報

工程師進階

要點

  • ARGO智慧眼鏡平臺採用STM32N6微控制器和NPU,實現本地ML處理,避免雲依賴
  • 引入頭並行注意力(HPA)最佳化YOLOv11模型,在嚴格記憶體限制下達到mAP50-95 24
  • 整合RGB、ToF、麥克風等感測器,以10 FPS執行,續航約113分鐘
  • 強調隱私保護和人體工學設計,推動邊緣AI多學科協同發展

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。