阿拉伯手語(ArSL)及其方言服務於全球約 4 億阿拉伯語使用者,然而該社群長期缺乏高質量的三維引數化註釋以及專門用於虛擬形象生成的重建方法。這一缺失限制了無障礙技術的發展,也阻礙了阿拉伯手語文化遺產的數字化儲存。為彌補這一關鍵空白,一項新的研究提出了 Tamaththul3D,這是一個專門針對阿拉伯手語獨特發音模式的重建管道,能夠從單目影片生成高保真三維虛擬形象。
研究團隊做出了兩項核心貢獻。首先,他們為 Ishara-500 沙特手語資料集引入了首批高質量的三維引數註釋,提供了 500 個文化真實的沙特手語手勢的精確 SMPL-X 引數。這些註釋不僅包含了手部和身體的完整姿態資訊,還針對沙特手語特有的手勢進行了精細調整,為後續的重建工作奠定了堅實基礎。其次,他們提出了 Tamaththul3D 管道,該管道整合了多個先進的模組。具體而言,利用 SMPLer-X 進行穩健的身體估計,WiLoR 用於精細的手部細節恢復並具備自動定位和映象功能,MediaPipe 則提供二維姿態監督。這種多模組協同的方式能夠有效應對單目影片中的遮擋和模糊問題。
在技術細節上,Tamaththul3D 透過基於運動鏈的手腕對齊與混合擺動-旋轉分解,以及二維監督的聯合最佳化,顯著提升了手部重建的精度。實驗結果表明,Tamaththul3D 在手部精度上達到了最先進水平,相比先前方法提升高達 32%,同時保持了有競爭力的身體姿態。這些三維註釋與 Tamaththul3D 管道共同構成了首個面向高保真阿拉伯手語虛擬形象重建的全面框架。
這一成果有望推動新的無障礙技術發展,例如為聾人提供更自然的虛擬手語翻譯,併為阿拉伯聾人社群的文化遺產保護做出貢獻。研究團隊表示,該框架不僅適用於沙特手語,未來還可以擴充套件到其他阿拉伯手語方言,從而惠及更廣泛的群體。此外,該框架的模組化設計也便於整合到現有的虛擬現實和增強現實系統中,進一步拓展其應用場景。