本土机遇：AI能否推动个人助理设备与手语创新？

微软AI for Accessibility项目与罗切斯特理工学院（RIT）合作，资助了一项为期三年的研究，旨在探索聋哑及听力障碍（DHH）用户如何更有效地与家用智能助理设备交互。这些设备传统上依赖语音命令，但新研究希望引入对美国手语（ASL）的支持。

由博士生Abraham Glasser领导的团队，在Matt Huenerfauth教授的指导下，采用了“巫师实验”方法：远程会议中，一位隐藏的ASL口译员实时将手语命令转换为英语语音，让参与者误以为设备能直接理解手语。实验记录了DHH用户发出的各种ASL命令，包括多种唤醒方式（如“HELLO”、“HEY”等），这是此前研究中未涉及的。

研究分析了命令类别，发现“命令与控制”类（调整设置、导航、回答是/否问题）最受欢迎，其次为娱乐、生活方式和购物。用户还巧妙利用身体空间来指代对象，并在是非疑问句开头使用问号手势以吸引设备注意。当设备出现错误时，多数用户选择忽略并发出新命令，其次为原样重复命令或重新措辞。

基于这些发现，团队构建了一个视频数据集，记录DHH用户使用ASL与设备交互的场景，包括查询天气、控制家电等。该数据集已公开，可供研究人员和开发者训练ASL识别技术，为未来更包容的智能设备铺路。相关论文已在2022年CHI会议上发表。