跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

Tamaththul3D:從單目影片生成高保真三維沙特手語虛擬形象

文章摘要

Tamaththul3D 是一種專為阿拉伯手語(ArSL)設計的重建管道,能夠從單目影片生成高保真三維虛擬形象。研究團隊首次為 Ishara-500 沙特手語資料集提供了高質量的三維引數註釋(SMPL-X 引數),涵蓋 500 個文化真實的沙特手語手勢。該管道整合了 SMPLer-X、WiLoR 和 MediaPipe,透過基於運動鏈的手腕對齊、混合擺動-旋轉分解和二維監督關節最佳化,在手部精度上實現了高達 32% 的提升,同時保持競爭性的身體姿態。這項工作為 ArSL 虛擬形象重建建立了首個全面框架,有助於為阿拉伯聾人社群開發無障礙技術和文化遺產保護。

來源arXiv Computer Vision作者: Eyad Alghamdi, Sattam Altuuaim, Obay Ghulam, Abdulrahman Qutah, Yousef Basoodan
Tamaththul3D:從單目影片生成高保真三維沙特手語虛擬形象
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

阿拉伯手語(ArSL)及其方言服務於全球約 4 億阿拉伯語使用者,然而該社群長期缺乏高質量的三維引數化註釋以及專門用於虛擬形象生成的重建方法。這一缺失限制了無障礙技術的發展,也阻礙了阿拉伯手語文化遺產的數字化儲存。為彌補這一關鍵空白,一項新的研究提出了 Tamaththul3D,這是一個專門針對阿拉伯手語獨特發音模式的重建管道,能夠從單目影片生成高保真三維虛擬形象。

研究團隊做出了兩項核心貢獻。首先,他們為 Ishara-500 沙特手語資料集引入了首批高質量的三維引數註釋,提供了 500 個文化真實的沙特手語手勢的精確 SMPL-X 引數。這些註釋不僅包含了手部和身體的完整姿態資訊,還針對沙特手語特有的手勢進行了精細調整,為後續的重建工作奠定了堅實基礎。其次,他們提出了 Tamaththul3D 管道,該管道整合了多個先進的模組。具體而言,利用 SMPLer-X 進行穩健的身體估計,WiLoR 用於精細的手部細節恢復並具備自動定位和映象功能,MediaPipe 則提供二維姿態監督。這種多模組協同的方式能夠有效應對單目影片中的遮擋和模糊問題。

在技術細節上,Tamaththul3D 透過基於運動鏈的手腕對齊與混合擺動-旋轉分解,以及二維監督的聯合最佳化,顯著提升了手部重建的精度。實驗結果表明,Tamaththul3D 在手部精度上達到了最先進水平,相比先前方法提升高達 32%,同時保持了有競爭力的身體姿態。這些三維註釋與 Tamaththul3D 管道共同構成了首個面向高保真阿拉伯手語虛擬形象重建的全面框架。

這一成果有望推動新的無障礙技術發展,例如為聾人提供更自然的虛擬手語翻譯,併為阿拉伯聾人社群的文化遺產保護做出貢獻。研究團隊表示,該框架不僅適用於沙特手語,未來還可以擴充套件到其他阿拉伯手語方言,從而惠及更廣泛的群體。此外,該框架的模組化設計也便於整合到現有的虛擬現實和增強現實系統中,進一步拓展其應用場景。

展開要點與分析

文章情報

工程師進階

要點

  • 首次為沙特手語資料集 Ishara-500 提供 500 個高質量 3D 引數註釋(SMPL-X 引數)。
  • 提出了 Tamaththul3D 管道,整合多種方法實現高保真虛擬形象重建。
  • 手部精度相比先前方法提升高達 32%,同時保持良好身體姿態。
  • 該框架支援無障礙技術和阿拉伯聾人社群的文化遺產保護。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。