跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

Isharah-Selfie:面向单手手语的连续手语识别数据集

文章摘要

该研究发布Isharah-Selfie,一个完全用智能手机前置摄像头在非受控自拍条件下采集的大规模阿拉伯手语数据集,包含8,997段视频、16名手语者、1,493个独特句子,并同时提供连续手语识别用的词素序列和手语翻译用的阿拉伯语句子标注。基准测试显示,现有方法在自拍场景下仍受挑战,尤其在未见句子的组合泛化方面表现较弱。

来源arXiv AI作者: Ahmed Abul Hasanaath, Murtadha Aljubran, Sarah Alyami, Muhammad Haris Khan, Hamzah Luqman
Isharah-Selfie:面向单手手语的连续手语识别数据集
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

近日,一篇题为《Isharah-Selfie: Continuous Sign Language Recognition Dataset for One-handed Signing》的论文以预印本形式发布在 arXiv 上,编号为 arXiv:2610.33200v1,归类于人工智能(cs.AI)方向,提交时间为 2026 年 10 月 23 日。该论文由 Ahmed Abul Hasanaath 等共五位作者完成,核心贡献是推出了一个名为 Isharah-Selfie 的大规模阿拉伯手语(ArSL)数据集,专门面向真实手机自拍场景下的连续手语识别与手语翻译研究。

论文指出,现有手语识别与翻译基准大多在受控环境中采集,使用固定机位或影棚式摄像机,这使其难以反映手语使用者在日常移动场景中的真实交流方式。这一问题在阿拉伯手语上尤为突出——阿拉伯手语是阿拉伯国家广泛使用的主要手语,但相关数据资源长期不足。为填补这一空白,研究团队完全使用智能手机前置摄像头,在不受约束的自拍条件下采集了 Isharah-Selfie 数据集。

从规模上看,该数据集包含 8,997 段视频片段,由 16 位手语者完成,覆盖 1,493 个不同句子,内容涉及医疗、教育、交通等多个领域。与传统数据集中以固定机位、双手手语为主的情况不同,Isharah-Selfie 着重记录真实移动通信中的典型特征:单手手语、近距离视角、身体部分可见、相机抖动、不受约束的环境以及不同设备分辨率带来的异质性。这些条件更接近普通用户用手机进行手语视频通话或录制时的实际情况。

在标注方面,每段视频同时提供两类信息:用于连续手语识别(CSLR)的手语注释序列(gloss sequence),以及用于手语翻译(SLT)的阿拉伯语整句译文。这种双重标注使同一数据集可同时服务于识别与翻译两个任务。此外,研究团队还定义了“手语者无关”和“未见句子”两种评测协议,用于考察模型在未见过的手语者以及全新句子组合上的泛化能力。

论文报告了基于 RGB 数据和基于姿态(pose)数据的广泛基准测试结果。实验显示,现有 CSLR 与 SLT 方法在自拍式手语条件下仍然面临明显挑战,尤其是在“未见句子”评测中,模型的组合泛化能力依然较弱。这意味着模型在遇到训练集中未出现过的句子结构时,表现会明显下降。

作者表示,发布 Isharah-Selfie 的目的是推动面向稳健、以用户为中心的手语技术研究,使相关系统能够在真实的智能手机通信场景中可靠运行。数据集已在项目主页 https://isharah-selfie.github.io/ 上公开。从更广的角度看,这项工作强调了手语 AI 研究从实验室环境走向日常移动设备的重要性,也为阿拉伯手语在资源稀缺条件下的数据集建设提供了新的参考范式。

展开要点与分析

文章情报

投资人进阶

要点

  • 数据集包含8,997段自拍视频,来自16名手语者,涵盖1,493个独特句子
  • 捕捉单手手语、近距离视角、部分身体可见、相机抖动等真实移动通信特征
  • 每段视频同时标注词素序列(CSLR)和阿拉伯语句子翻译(SLT)
  • 提出说话人独立与未见句子评估协议,基准显示现有方法组合泛化能力弱

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。