アラビア手話（ArSL）とその方言は、世界中の約4億人のアラビア語話者に利用されているが、そのコミュニティは高品質な3Dパラメトリックアノテーションやアバター生成のための専門的な再構築手法を長い間欠如していた。この不足は、アクセシビリティ技術の発展を妨げ、アラビア手話の文化的遺産のデジタル保存を困難にしていた。この重要なギャップを埋めるため、新たな研究でTamaththul3Dが提案された。これは、アラビア手話特有の調音パターンに特化した再構築パイプラインであり、単眼ビデオから高忠実度の3Dアバターを生成する。
研究チームは2つの主要な貢献を行った。第一に、Ishara-500サウジ手話データセットに対して初の高品質3Dパラメトリックアノテーションを導入し、500の文化的に真正なサウジ手話（SSL）の手話に対する正確なSMPL-Xパラメータを提供した。これらのアノテーションは、手と体の完全な姿勢情報を含み、サウジ手話特有のジェスチャーに合わせて微調整されており、その後の再構築作業の基盤となる。第二に、Tamaththul3Dパイプラインを提案した。このパイプラインは、SMPLer-Xによる堅牢な身体推定、WiLoRによる自動位置特定とミラーリング機能を備えた詳細な手の洗練、MediaPipeによる2D姿勢監視を統合している。このマルチモジュールの協調により、単眼ビデオにおける遮蔽やぼやけの問題に効果的に対処できる。
技術的な詳細として、Tamaththul3Dはキネマティックチェーンに基づく手首アライメントとハイブリッドスイング・ツイスト分解、および2D教師付き関節最適化を採用し、手の再構築精度を大幅に向上させた。実験結果によれば、Tamaththul3Dは手の精度で最先端を達成し、従来手法と比較して最大32%の改善を示すと同時に、競争力のある身体姿勢を維持する。これらの3DアノテーションとTamaththul3Dパイプラインは、高忠実度ArSLアバター再構築のための初の包括的フレームワークを確立する。
この成果は、ろう者により自然な仮想手話翻訳を提供するなどの新しいアクセシビリティ技術の開発を促進し、アラブろうコミュニティの文化保存に貢献することが期待される。研究チームは、このフレームワークがサウジ手話だけでなく、他のアラビア手話方言にも拡張可能であり、より広範囲のコミュニティに利益をもたらすと述べている。さらに、このフレームワークのモジュール設計は、既存の仮想現実や拡張現実システムへの統合を容易にし、応用範囲をさらに広げることができる。