本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

Isharah-Selfie:片手手話のための連続手話認識データセット

記事の要約

本研究は、スマートフォンのフロントカメラのみを用い、制約のない自撮り条件下で収集された大規模アラビア手話データセット「Isharah-Selfie」を公開する。16名の手話者による8,997本の動画、1,493個の独自文を含み、連続手話認識(CSLR)用のグロス系列と手話翻訳(SLT)用のアラビア語文の両方が注釈付けられている。ベンチマークでは、自撮り形式の手話条件下で既存手法が依然として苦戦し、特に未知文での組み合わせ汎化が弱いことが示された。

ソースarXiv AI著者: Ahmed Abul Hasanaath, Murtadha Aljubran, Sarah Alyami, Muhammad Haris Khan, Hamzah Luqman
Isharah-Selfie:片手手話のための連続手話認識データセット
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

現在の手話認識・翻訳ベンチマークは、固定カメラやスタジオ型カメラを用いた統制された環境で収集されることが多く、手話者が日常のモバイル環境でどのように意思疎通しているかを反映しにくいという課題がある。アラブ諸国で広く使われるアラビア手話(ArSL)では、この隔たりが特に顕著である。こうした背景から、研究チームは、スマートフォンのフロントカメラのみを用い、制約のない自撮り条件下で収集した大規模ArSLデータセット「Isharah-Selfie」を提案した。

このデータセットは、16名の手話者による8,997本の動画クリップで構成され、医療、教育、交通など複数の領域をカバーする1,493個の独自文を含む。固定カメラによる両手手話が中心だった従来のデータセットとは異なり、片手手話、近距離からの視点、体の一部しか映らない構図、カメラの動き、統制されていない環境、デバイスごとに異なる解像度といった、現実のモバイル通信の特徴を意図的に捉えている。

各動画には、連続手話認識(CSLR)用のグロス系列と、手話翻訳(SLT)用のアラビア語文訳という2種類の注釈が付与されている。これにより、同一のデータセットを認識と翻訳の両タスクに活用できる。

さらに研究チームは、未知の手話者への汎化を測る話者独立評価と、新しい文の組み合わせへの汎化を測る未知文評価という2つのプロトコルを定義した。RGBベースおよびポーズベースの広範なベンチマークの結果、現在のCSLRおよびSLT手法は自撮り形式の手話条件下で依然として難しく、特に未知文評価では組み合わせ汎化能力が弱いことが示された。

著者らは、Isharah-Selfieの公開により、現実のスマートフォンを用いたコミュニケーション場面で信頼性高く動作する、堅牢でユーザー中心の手話技術研究を促進したいとしている。データセットはプロジェクトページ(https://isharah-selfie.github.io/)で公開されている。本論文はAhmed Abul Hasanaath氏ら5名によるもので、2026年10月23日にarXivへ投稿され、arXiv:2610.33200(cs.AI)として登録されている。

要点と分析を開く

記事インテリジェンス

投資家上級

要点

  • 16名の手話者による8,997本の自撮り動画、1,493個の独自文を収録
  • 片手手話、近距離視点、カメラの動き、異なる解像度など実際のモバイル通信の特徴を捉える
  • 各動画にCSLR用グロス系列とSLT用アラビア語訳を注釈付け
  • 話者独立および未知文の評価プロトコルを定義し、組み合わせ汎化の弱さを明らかにした

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。