Velox：學習4D幾何與外觀的表示
Velox是一個用於學習4D物體潛在表示的框架，能夠從非結構化的動態點雲中高效壓縮時空彩色點云為動態形狀令牌，並通過4D表面解碼器和高斯解碼器分別重建幾何和外觀。實驗證明其在視頻到4D生成、3D跟蹤和布料模擬等下游任務中表現優異。
Apple機器學習研究團隊於2026年5月發佈了Velox框架，旨在從非結構化的動態彩色點雲中學習4D幾何與外觀的緊湊表示。該框架的核心是一個編碼器，能夠將時空彩色點雲壓縮為一組動態形狀令牌。這些令牌通過兩個互補的解碼器進行監督訓練：4D表面解碼器建模隨時間變化的表面分佈，精確捕捉物體的幾何信息；高斯解碼器則將令牌映射到3D高斯，幫助模型學習外觀特徵。這種設計使得Velox的表示既具有描述性，能夠忠實捕捉物體幾何與外觀，又具有壓縮性，有助於提高下游任務的效率。同時，它僅需非結構化的動態點雲作為輸入，降低了使用門檻。為驗證表示的有效性，研究團隊在三個下游任務上進行了評估：視頻到4D生成、3D跟蹤以及基於圖像到4D生成的布料模擬。在所有任務中，Velox均展現出強大的性能。該工作由來自多倫多大學和Apple的研究人員共同完成，為4D場景理解和生成提供了高效的新方案。