跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

Tamaththul3D:从单目视频生成高保真三维沙特手语虚拟形象

文章摘要

Tamaththul3D 是一种专为阿拉伯手语(ArSL)设计的重建管道,能够从单目视频生成高保真三维虚拟形象。研究团队首次为 Ishara-500 沙特手语数据集提供了高质量的三维参数注释(SMPL-X 参数),涵盖 500 个文化真实的沙特手语手势。该管道集成了 SMPLer-X、WiLoR 和 MediaPipe,通过基于运动链的手腕对齐、混合摆动-旋转分解和二维监督关节优化,在手部精度上实现了高达 32% 的提升,同时保持竞争性的身体姿态。这项工作为 ArSL 虚拟形象重建建立了首个全面框架,有助于为阿拉伯聋人社区开发无障碍技术和文化遗产保护。

来源arXiv Computer Vision作者: Eyad Alghamdi, Sattam Altuuaim, Obay Ghulam, Abdulrahman Qutah, Yousef Basoodan
Tamaththul3D:从单目视频生成高保真三维沙特手语虚拟形象
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

阿拉伯手语(ArSL)及其方言服务于全球约 4 亿阿拉伯语使用者,然而该社区长期缺乏高质量的三维参数化注释以及专门用于虚拟形象生成的重建方法。这一缺失限制了无障碍技术的发展,也阻碍了阿拉伯手语文化遗产的数字化保存。为弥补这一关键空白,一项新的研究提出了 Tamaththul3D,这是一个专门针对阿拉伯手语独特发音模式的重建管道,能够从单目视频生成高保真三维虚拟形象。

研究团队做出了两项核心贡献。首先,他们为 Ishara-500 沙特手语数据集引入了首批高质量的三维参数注释,提供了 500 个文化真实的沙特手语手势的精确 SMPL-X 参数。这些注释不仅包含了手部和身体的完整姿态信息,还针对沙特手语特有的手势进行了精细调整,为后续的重建工作奠定了坚实基础。其次,他们提出了 Tamaththul3D 管道,该管道集成了多个先进的模块。具体而言,利用 SMPLer-X 进行稳健的身体估计,WiLoR 用于精细的手部细节恢复并具备自动定位和镜像功能,MediaPipe 则提供二维姿态监督。这种多模块协同的方式能够有效应对单目视频中的遮挡和模糊问题。

在技术细节上,Tamaththul3D 通过基于运动链的手腕对齐与混合摆动-旋转分解,以及二维监督的联合优化,显著提升了手部重建的精度。实验结果表明,Tamaththul3D 在手部精度上达到了最先进水平,相比先前方法提升高达 32%,同时保持了有竞争力的身体姿态。这些三维注释与 Tamaththul3D 管道共同构成了首个面向高保真阿拉伯手语虚拟形象重建的全面框架。

这一成果有望推动新的无障碍技术发展,例如为聋人提供更自然的虚拟手语翻译,并为阿拉伯聋人社区的文化遗产保护做出贡献。研究团队表示,该框架不仅适用于沙特手语,未来还可以扩展到其他阿拉伯手语方言,从而惠及更广泛的群体。此外,该框架的模块化设计也便于集成到现有的虚拟现实和增强现实系统中,进一步拓展其应用场景。

展开要点与分析

文章情报

工程师进阶

要点

  • 首次为沙特手语数据集 Ishara-500 提供 500 个高质量 3D 参数注释(SMPL-X 参数)。
  • 提出了 Tamaththul3D 管道,集成多种方法实现高保真虚拟形象重建。
  • 手部精度相比先前方法提升高达 32%,同时保持良好身体姿态。
  • 该框架支持无障碍技术和阿拉伯聋人社区的文化遗产保护。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。