跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

Isharah-Selfie:面向單手手語的連續手語識別資料集

文章摘要

該研究釋出Isharah-Selfie,一個完全用智慧手機前置攝像頭在非受控自拍條件下采集的大規模阿拉伯手語資料集,包含8,997段影片、16名手語者、1,493個獨特句子,並同時提供連續手語識別用的詞素序列和手語翻譯用的阿拉伯語句子標註。基準測試顯示,現有方法在自拍場景下仍受挑戰,尤其在未見句子的組合泛化方面表現較弱。

來源arXiv AI作者: Ahmed Abul Hasanaath, Murtadha Aljubran, Sarah Alyami, Muhammad Haris Khan, Hamzah Luqman
Isharah-Selfie:面向單手手語的連續手語識別資料集
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

近日,一篇題為《Isharah-Selfie: Continuous Sign Language Recognition Dataset for One-handed Signing》的論文以預印本形式釋出在 arXiv 上,編號為 arXiv:2610.33200v1,歸類於人工智慧(cs.AI)方向,提交時間為 2026 年 10 月 23 日。該論文由 Ahmed Abul Hasanaath 等共五位作者完成,核心貢獻是推出了一個名為 Isharah-Selfie 的大規模阿拉伯手語(ArSL)資料集,專門面向真實手機自拍場景下的連續手語識別與手語翻譯研究。

論文指出,現有手語識別與翻譯基準大多在受控環境中採集,使用固定機位或影棚式攝像機,這使其難以反映手語使用者在日常移動場景中的真實交流方式。這一問題在阿拉伯手語上尤為突出——阿拉伯手語是阿拉伯國家廣泛使用的主要手語,但相關資料資源長期不足。為填補這一空白,研究團隊完全使用智慧手機前置攝像頭,在不受約束的自拍條件下采集了 Isharah-Selfie 資料集。

從規模上看,該資料集包含 8,997 段影片片段,由 16 位手語者完成,覆蓋 1,493 個不同句子,內容涉及醫療、教育、交通等多個領域。與傳統資料集中以固定機位、雙手手語為主的情況不同,Isharah-Selfie 著重記錄真實行動通訊中的典型特徵:單手手語、近距離視角、身體部分可見、相機抖動、不受約束的環境以及不同裝置解析度帶來的異質性。這些條件更接近普通使用者用手機進行手語視訊通話或錄製時的實際情況。

在標註方面,每段影片同時提供兩類資訊:用於連續手語識別(CSLR)的手語註釋序列(gloss sequence),以及用於手語翻譯(SLT)的阿拉伯語整句譯文。這種雙重標註使同一資料集可同時服務於識別與翻譯兩個任務。此外,研究團隊還定義了“手語者無關”和“未見句子”兩種評測協議,用於考察模型在未見過的手語者以及全新句子組合上的泛化能力。

論文報告了基於 RGB 資料和基於姿態(pose)資料的廣泛基準測試結果。實驗顯示,現有 CSLR 與 SLT 方法在自拍式手語條件下仍然面臨明顯挑戰,尤其是在“未見句子”評測中,模型的組合泛化能力依然較弱。這意味著模型在遇到訓練集中未出現過的句子結構時,表現會明顯下降。

作者表示,釋出 Isharah-Selfie 的目的是推動面向穩健、以使用者為中心的手語技術研究,使相關係統能夠在真實的智慧手機通訊場景中可靠執行。資料集已在專案主頁 https://isharah-selfie.github.io/ 上公開。從更廣的角度看,這項工作強調了手語 AI 研究從實驗室環境走向日常移動裝置的重要性,也為阿拉伯手語在資源稀缺條件下的資料集建設提供了新的參考正規化。

展開要點與分析

文章情報

投資人進階

要點

  • 資料集包含8,997段自拍影片,來自16名手語者,涵蓋1,493個獨特句子
  • 捕捉單手手語、近距離視角、部分身體可見、相機抖動等真實行動通訊特徵
  • 每段影片同時標註詞素序列(CSLR)和阿拉伯語句子翻譯(SLT)
  • 提出說話人獨立與未見句子評估協議,基準顯示現有方法組合泛化能力弱

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。