国内の機会：AIはパーソナルアシスタントデバイスと手話の革新を推進できるか？

MicrosoftのAI for Accessibilityプログラムは、ロチェスター工科大学（RIT）と協力し、ろう・難聴（DHH）ユーザーが家庭用スマートアシスタントをどのように操作したいかを調査する3年間の研究プロジェクトを支援しました。従来の音声ベースのデバイスに代わり、アメリカ手話（ASL）を認識する機能を開発することを目指しています。

Abraham Glasser博士研究員（Matt Huenerfauth教授指導）率いるチームは、「Wizard-of-Oz」実験を実施。ビデオ会議で隠れたASL通訳者が参加者の手話を英語音声に変換し、デバイスが手話を理解しているように見せかけました。その結果、従来研究で見落とされていた多様な「起動」サイン（HELLO、HEYなど）が発見されました。

分析によると、最も多いコマンドカテゴリは「制御」（設定変更、ナビゲーション、はい/いいえ質問）で、次いでエンターテイメント、ライフスタイルとショッピングが続きました。参加者は身体スペースを巧みに使い、質問の主題を指し示しました。また、はい/いいえ疑問文では文頭に疑問符の手話を使う傾向が見られました。エラー発生時は、多くのユーザーが無視して別のコマンドを試すか、同じコマンドを繰り返すか、言い換えを行いました。

この研究から得られた知見を基に、チームはDHHユーザーがASLでデバイスと対話する様子を収めたビデオデータセットを構築しました。天気確認、家電制御などのコマンドが含まれ、公開されています。このデータセットは、ASL認識技術の訓練に活用され、より包括的なスマートデバイスの開発を促進します。研究成果は2022年のCHI会議で発表されました。