現在の手話認識・翻訳ベンチマークは、固定カメラやスタジオ型カメラを用いた統制された環境で収集されることが多く、手話者が日常のモバイル環境でどのように意思疎通しているかを反映しにくいという課題がある。アラブ諸国で広く使われるアラビア手話(ArSL)では、この隔たりが特に顕著である。こうした背景から、研究チームは、スマートフォンのフロントカメラのみを用い、制約のない自撮り条件下で収集した大規模ArSLデータセット「Isharah-Selfie」を提案した。
このデータセットは、16名の手話者による8,997本の動画クリップで構成され、医療、教育、交通など複数の領域をカバーする1,493個の独自文を含む。固定カメラによる両手手話が中心だった従来のデータセットとは異なり、片手手話、近距離からの視点、体の一部しか映らない構図、カメラの動き、統制されていない環境、デバイスごとに異なる解像度といった、現実のモバイル通信の特徴を意図的に捉えている。
各動画には、連続手話認識(CSLR)用のグロス系列と、手話翻訳(SLT)用のアラビア語文訳という2種類の注釈が付与されている。これにより、同一のデータセットを認識と翻訳の両タスクに活用できる。
さらに研究チームは、未知の手話者への汎化を測る話者独立評価と、新しい文の組み合わせへの汎化を測る未知文評価という2つのプロトコルを定義した。RGBベースおよびポーズベースの広範なベンチマークの結果、現在のCSLRおよびSLT手法は自撮り形式の手話条件下で依然として難しく、特に未知文評価では組み合わせ汎化能力が弱いことが示された。
著者らは、Isharah-Selfieの公開により、現実のスマートフォンを用いたコミュニケーション場面で信頼性高く動作する、堅牢でユーザー中心の手話技術研究を促進したいとしている。データセットはプロジェクトページ(https://isharah-selfie.github.io/)で公開されている。本論文はAhmed Abul Hasanaath氏ら5名によるもので、2026年10月23日にarXivへ投稿され、arXiv:2610.33200(cs.AI)として登録されている。