阿拉伯手语(ArSL)及其方言服务于全球约 4 亿阿拉伯语使用者,然而该社区长期缺乏高质量的三维参数化注释以及专门用于虚拟形象生成的重建方法。这一缺失限制了无障碍技术的发展,也阻碍了阿拉伯手语文化遗产的数字化保存。为弥补这一关键空白,一项新的研究提出了 Tamaththul3D,这是一个专门针对阿拉伯手语独特发音模式的重建管道,能够从单目视频生成高保真三维虚拟形象。
研究团队做出了两项核心贡献。首先,他们为 Ishara-500 沙特手语数据集引入了首批高质量的三维参数注释,提供了 500 个文化真实的沙特手语手势的精确 SMPL-X 参数。这些注释不仅包含了手部和身体的完整姿态信息,还针对沙特手语特有的手势进行了精细调整,为后续的重建工作奠定了坚实基础。其次,他们提出了 Tamaththul3D 管道,该管道集成了多个先进的模块。具体而言,利用 SMPLer-X 进行稳健的身体估计,WiLoR 用于精细的手部细节恢复并具备自动定位和镜像功能,MediaPipe 则提供二维姿态监督。这种多模块协同的方式能够有效应对单目视频中的遮挡和模糊问题。
在技术细节上,Tamaththul3D 通过基于运动链的手腕对齐与混合摆动-旋转分解,以及二维监督的联合优化,显著提升了手部重建的精度。实验结果表明,Tamaththul3D 在手部精度上达到了最先进水平,相比先前方法提升高达 32%,同时保持了有竞争力的身体姿态。这些三维注释与 Tamaththul3D 管道共同构成了首个面向高保真阿拉伯手语虚拟形象重建的全面框架。
这一成果有望推动新的无障碍技术发展,例如为聋人提供更自然的虚拟手语翻译,并为阿拉伯聋人社区的文化遗产保护做出贡献。研究团队表示,该框架不仅适用于沙特手语,未来还可以扩展到其他阿拉伯手语方言,从而惠及更广泛的群体。此外,该框架的模块化设计也便于集成到现有的虚拟现实和增强现实系统中,进一步拓展其应用场景。