AI News HubLIVE
站内改写1 分钟阅读

手指上的AI戒指能翻译手语

韩国研究人员开发了一套无线电子戒指,结合深度学习系统,能够将手语翻译成文本。该系统使用七枚戒指,每枚戒指配备加速度计,可检测手部运动,并无线传输数据。在实验中,它能以88.3%和88.5%的准确率识别100个常见美国手语和国际手语词汇,并能翻译连续句子。未来计划包括集成面部表情和身体姿态,以及实现手机端处理。

来源IEEE Spectrum AI作者: Charles Q. Choi

韩国延世大学的研究人员开发了一套基于AI的戒指系统,能够将手语实时翻译成文本。这项研究成果发表在《科学进展》期刊上,为手语翻译设备的实用化和轻量化迈出了重要一步。

传统的手语翻译设备面临诸多挑战:基于摄像头的系统受光线和视角限制;智能手套虽然便携,但会积聚热量和湿气,且传感器固定,无法适应不同手型;许多设备还需要有线连接,妨碍手部自由活动。为了解决这些问题,研究团队设计了一组电子戒指,每枚戒指都内置加速度计和蓝牙低功耗芯片,可以无线传输手部运动数据。他们通过分析发现,手语中七根手指(双手除小指外的七根)起主要作用,因此只用了七枚戒指,减少了硬件数量。

系统采用深度学习模型识别手语手势。实验表明,即使对于未参与训练的用户,系统也能以88.3%的准确率识别100个美国手语词汇,以88.5%的准确率识别100个国际手语词汇——远超市面上大多数仅限于50个词汇的设备。更重要的是,系统能处理连续手语句子,支持实时翻译。不过,研究团队也承认当前系统的局限性。它仅识别手部动作,尚未纳入面部表情、口型、身体姿势和空间语法等手语的关键语法元素。团队计划未来将这些元素整合到低功耗系统中,同时保持戒指的轻便性。

长期目标是将处理迁移到智能手机等日常设备上,实现真正的移动性和隐私保护。此外,他们希望与聋人社区合作,进一步优化功能并促进社会融合。除手语翻译外,这项技术还可应用于手部康复监测、神经系统疾病评估、虚拟现实和增强现实接口等领域。研究人员表示,通过在手语这一复杂领域的验证,系统已为广泛的生物医学和交互应用做好了准备。