本土機遇：AI能否推動個人助理設備與手語創新？

微軟AI for Accessibility項目與羅切斯特理工學院（RIT）合作，資助了一項為期三年的研究，旨在探索聾啞及聽力障礙（DHH）用户如何更有效地與家用智能助理設備交互。這些設備傳統上依賴語音命令，但新研究希望引入對美國手語（ASL）的支持。

由博士生Abraham Glasser領導的團隊，在Matt Huenerfauth教授的指導下，採用了“巫師實驗”方法：遠程會議中，一位隱藏的ASL口譯員實時將手語命令轉換為英語語音，讓參與者誤以為設備能直接理解手語。實驗記錄了DHH用户發出的各種ASL命令，包括多種喚醒方式（如“HELLO”、“HEY”等），這是此前研究中未涉及的。

研究分析了命令類別，發現“命令與控制”類（調整設置、導航、回答是/否問題）最受歡迎，其次為娛樂、生活方式和購物。用户還巧妙利用身體空間來指代對象，並在是非疑問句開頭使用問號手勢以吸引設備註意。當設備出現錯誤時，多數用户選擇忽略併發出新命令，其次為原樣重複命令或重新措辭。

基於這些發現，團隊構建了一個視頻數據集，記錄DHH用户使用ASL與設備交互的場景，包括查詢天氣、控制家電等。該數據集已公開，可供研究人員和開發者訓練ASL識別技術，為未來更包容的智能設備鋪路。相關論文已在2022年CHI會議上發表。