手指上的AI戒指能翻譯手語
韓國研究人員開發了一套無線電子戒指,結合深度學習系統,能夠將手語翻譯成文本。該系統使用七枚戒指,每枚戒指配備加速度計,可檢測手部運動,並無線傳輸資料。在實驗中,它能以88.3%和88.5%的準確率識別100個常見美國手語和國際手語詞彙,並能翻譯連續句子。未來計劃包括整合面部表情和身體姿態,以及實現手機端處理。
韓國延世大學的研究人員開發了一套基於AI的戒指系統,能夠將手語即時翻譯成文本。這項研究成果發表在《科學進展》期刊上,為手語翻譯裝置的實用化和輕量化邁出了重要一步。
傳統的手語翻譯裝置面臨諸多挑戰:基於攝像頭的系統受光線和視角限制;智慧手套雖然便攜,但會積聚熱量和溼氣,且感測器固定,無法適應不同手型;許多裝置還需要有線連線,妨礙手部自由活動。為了解決這些問題,研究團隊設計了一組電子戒指,每枚戒指都內建加速度計和藍牙低功耗晶片,可以無線傳輸手部運動資料。他們透過分析發現,手語中七根手指(雙手除小指外的七根)起主要作用,因此只用了七枚戒指,減少了硬體數量。
系統採用深度學習模型識別手語手勢。實驗表明,即使對於未參與訓練的使用者,系統也能以88.3%的準確率識別100個美國手語詞彙,以88.5%的準確率識別100個國際手語詞彙——遠超市面上大多數僅限於50個詞彙的裝置。更重要的是,系統能處理連續手語句子,支援即時翻譯。不過,研究團隊也承認當前系統的侷限性。它僅識別手部動作,尚未納入面部表情、口型、身體姿勢和空間語法等手語的關鍵語法元素。團隊計劃未來將這些元素整合到低功耗系統中,同時保持戒指的輕便性。
長期目標是將處理遷移到智慧手機等日常裝置上,實現真正的移動性和隱私保護。此外,他們希望與聾人社群合作,進一步最佳化功能並促進社會融合。除手語翻譯外,這項技術還可應用於手部康復監測、神經系統疾病評估、虛擬現實和增強現實介面等領域。研究人員表示,透過在手語這一複雜領域的驗證,系統已為廣泛的生物醫學和互動應用做好了準備。