近日,一篇题为《Isharah-Selfie: Continuous Sign Language Recognition Dataset for One-handed Signing》的论文以预印本形式发布在 arXiv 上,编号为 arXiv:2610.33200v1,归类于人工智能(cs.AI)方向,提交时间为 2026 年 10 月 23 日。该论文由 Ahmed Abul Hasanaath 等共五位作者完成,核心贡献是推出了一个名为 Isharah-Selfie 的大规模阿拉伯手语(ArSL)数据集,专门面向真实手机自拍场景下的连续手语识别与手语翻译研究。
论文指出,现有手语识别与翻译基准大多在受控环境中采集,使用固定机位或影棚式摄像机,这使其难以反映手语使用者在日常移动场景中的真实交流方式。这一问题在阿拉伯手语上尤为突出——阿拉伯手语是阿拉伯国家广泛使用的主要手语,但相关数据资源长期不足。为填补这一空白,研究团队完全使用智能手机前置摄像头,在不受约束的自拍条件下采集了 Isharah-Selfie 数据集。
从规模上看,该数据集包含 8,997 段视频片段,由 16 位手语者完成,覆盖 1,493 个不同句子,内容涉及医疗、教育、交通等多个领域。与传统数据集中以固定机位、双手手语为主的情况不同,Isharah-Selfie 着重记录真实移动通信中的典型特征:单手手语、近距离视角、身体部分可见、相机抖动、不受约束的环境以及不同设备分辨率带来的异质性。这些条件更接近普通用户用手机进行手语视频通话或录制时的实际情况。
在标注方面,每段视频同时提供两类信息:用于连续手语识别(CSLR)的手语注释序列(gloss sequence),以及用于手语翻译(SLT)的阿拉伯语整句译文。这种双重标注使同一数据集可同时服务于识别与翻译两个任务。此外,研究团队还定义了“手语者无关”和“未见句子”两种评测协议,用于考察模型在未见过的手语者以及全新句子组合上的泛化能力。
论文报告了基于 RGB 数据和基于姿态(pose)数据的广泛基准测试结果。实验显示,现有 CSLR 与 SLT 方法在自拍式手语条件下仍然面临明显挑战,尤其是在“未见句子”评测中,模型的组合泛化能力依然较弱。这意味着模型在遇到训练集中未出现过的句子结构时,表现会明显下降。
作者表示,发布 Isharah-Selfie 的目的是推动面向稳健、以用户为中心的手语技术研究,使相关系统能够在真实的智能手机通信场景中可靠运行。数据集已在项目主页 https://isharah-selfie.github.io/ 上公开。从更广的角度看,这项工作强调了手语 AI 研究从实验室环境走向日常移动设备的重要性,也为阿拉伯手语在资源稀缺条件下的数据集建设提供了新的参考范式。