指にはめるAIリングが手話を翻訳

韓国・延世大学の研究チームは、AIを搭載した指輪型デバイスで手話をリアルタイムにテキスト翻訳するシステムを開発した。この成果は学術誌『Science Advances』に掲載され、手話翻訳デバイスの実用化と軽量化に向けた重要な一歩とされている。

従来の手話翻訳デバイスには様々な課題があった。カメラ方式は照明やカメラ位置の制約を受け、スマートグローブは熱や湿気がこもり長時間の使用に不向きで、センサーが固定されていたため手の大きさや指の長さの個人差に対応できなかった。また、有線接続が必要なものも多く、手の動きを妨げていた。研究チームはこれらの問題を解決するため、無線通信機能を持つ電子指輪を開発した。各指輪には加速度計とBluetooth Low Energyチップが内蔵され、手の動きをワイヤレスで送信する。研究では、手話において7本の指（両手の小指を除く）が主要な役割を果たすことを発見し、システムは7つの指輪のみを使用することでハードウェアを最小限に抑えた。

深層学習モデルが手の動きを認識する。実験では、訓練に参加していない5人の被験者に対しても、米手話（ASL）100単語で88.3%、国際手話100単語で88.5%の精度を達成。従来のシステムが50語未満の語彙に限られていたことを考えると大きな進歩である。さらに、個別の単語だけでなく連続した文の翻訳も可能で、リアルタイム通訳への応用が期待される。しかし、研究チームは「現状では手の動きのみをテキストに変換しており、手話に不可欠な顔の表情、口の動き、体の姿勢、空間構文は捉えられていない」と注意を促す。今後はこれらを低消費電力で統合し、指輪の邪魔にならない設計を維持することが課題だ。

長期的には、処理をスマートフォンなどの日常デバイスに移行し、真のモビリティとプライバシー保護を実現する計画。また、ろう者コミュニティと協力して機能向上と社会統合を図るとともに、手話翻訳以外にも手のリハビリモニタリング、神経疾患の評価、VR/ARインターフェースなどへの応用を視野に入れている。