本土機遇：AI能否推動個人助理裝置與手語創新？

微軟AI for Accessibility專案與羅切斯特理工學院（RIT）合作，資助了一項為期三年的研究，旨在探索聾啞及聽力障礙（DHH）使用者如何更有效地與家用智慧助理裝置互動。這些裝置傳統上依賴語音命令，但新研究希望引入對美國手語（ASL）的支援。

由博士生Abraham Glasser領導的團隊，在Matt Huenerfauth教授的指導下，採用了“巫師實驗”方法：遠端會議中，一位隱藏的ASL口譯員即時將手語命令轉換為英語語音，讓參與者誤以為裝置能直接理解手語。實驗記錄了DHH使用者發出的各種ASL命令，包括多種喚醒方式（如“HELLO”、“HEY”等），這是此前研究中未涉及的。

研究分析了命令類別，發現“命令與控制”類（調整設定、導航、回答是/否問題）最受歡迎，其次為娛樂、生活方式和購物。使用者還巧妙利用身體空間來指代物件，並在是非疑問句開頭使用問號手勢以吸引裝置註意。當裝置出現錯誤時，多數使用者選擇忽略併發出新命令，其次為原樣重複命令或重新措辭。

基於這些發現，團隊構建了一個影片資料集，記錄DHH使用者使用ASL與裝置互動的場景，包括查詢天氣、控制家電等。該資料集已公開，可供研究人員和開發者訓練ASL識別技術，為未來更包容的智慧裝置鋪路。相關論文已在2022年CHI會議上發表。