Velox：學習4D幾何與外觀的表示

Apple機器學習研究團隊於2026年5月釋出了Velox框架，旨在從非結構化的動態彩色點雲中學習4D幾何與外觀的緊湊表示。該框架的核心是一個編碼器，能夠將時空彩色點雲壓縮為一組動態形狀令牌。這些令牌透過兩個互補的解碼器進行監督訓練：4D表面解碼器建模隨時間變化的表面分佈，精確捕捉物體的幾何資訊；高斯解碼器則將令牌對映到3D高斯，幫助模型學習外觀特徵。這種設計使得Velox的表示既具有描述性，能夠忠實捕捉物體幾何與外觀，又具有壓縮性，有助於提高下游任務的效率。同時，它僅需非結構化的動態點雲作為輸入，降低了使用門檻。為驗證表示的有效性，研究團隊在三個下游任務上進行了評估：影片到4D生成、3D跟蹤以及基於影像到4D生成的布料模擬。在所有任務中，Velox均展現出強大的效能。該工作由來自多倫多大學和Apple的研究人員共同完成，為4D場景理解和生成提供了高效的新方案。