跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

大规模手语数据集:资源、基准与标注标准综合调查

文章摘要

一项ACL 2026综述系统梳理了35种手语的120个数据集,指出模态失衡、标注粒度不一和手语者偏差等关键问题,并提出24字段数据表模板和公开GitHub仓库以推动标准化。

来源arXiv Computational Linguistics作者: Yiming Ni, Zhi-Qi Cheng, Jiayu Li, Wei Cheng
大规模手语数据集:资源、基准与标注标准综合调查
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

手语是听障(Deaf and Hard-of-Hearing,DHH)群体所使用的富有表现力的视觉语言。尽管手语识别、手语翻译和手语生成等方向近年来取得了显著进展,但相关研究仍受到数据集碎片化、标注不一致以及语言覆盖范围有限的制约。现有基准测试往往无法反映真实世界的沟通需求,而对上述局限性的系统性分析也依然有限。针对这一问题,一篇被 ACL 2026 主会接收的综述论文《Sign-Language Datasets at Scale: A Comprehensive Survey on Resources, Benchmarks, and Annotation Standards》提出了系统性的梳理与规范建议。

该论文由 Yiming Ni 等四位作者完成,于 2026 年 4 月 28 日提交至 arXiv(编号 2606.19352,v1 版本),全文 27 页、含 5 幅图,归入计算与语言(cs.CL)以及人工智能(cs.AI)分类。

在资源梳理方面,这项工作提供了一份全面的手语数据集索引,覆盖 35 种手语的 120 项资源,从数据规模与语言多样性两个维度勾勒出当前手语数据生态的整体图景,为研究者查找和比较不同资源提供了统一入口。

在问题分析方面,论文重点剖析了三类关键挑战。其一是模态失衡:不同数据集在视频、骨骼关键点、文本等模态上的分布并不均衡,导致模型难以在真实场景中泛化。其二是标注粒度的不一致:从词级 gloss 到连续语句级翻译,不同资源的标注深度差异显著,直接影响评测的可比性。其三是手语者偏差(signer bias):参与录制的签名者数量、背景与风格有限,容易使模型对特定个体过拟合,从而削弱对更广泛人群的适应能力。论文还就未来数据集设计提出了具体考量。

在标准化工具方面,作者提出了一套包含 24 个字段的“手语数据表”(Sign-Language Datasheet),用于对数据集进行结构化、可比较的文档记录,并公开了 GitHub 仓库(https://github.com/Ginqwerty/Open-Sign-Language),以支持标准化文档撰写与可复现的评测流程。

总体而言,该综述为开发包容、稳健且可扩展的手语技术提供了统一而实用的基础,既是一份资源地图,也是一套面向真实应用需求的规范框架。

展开要点与分析

文章情报

投资人进阶

要点

  • 覆盖35种手语、120个资源的全面索引,揭示数据集碎片化与语言覆盖不足。
  • 分析模态失衡、标注粒度、手语者偏差三大挑战,为未来数据集设计提供指导。
  • 提出24字段手语数据表并发布开源仓库,支持标准化文档与可复现评估。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。