Velox：学习4D几何与外观的表示
Velox是一个用于学习4D物体潜在表示的框架，能够从非结构化的动态点云中高效压缩时空彩色点云为动态形状令牌，并通过4D表面解码器和高斯解码器分别重建几何和外观。实验证明其在视频到4D生成、3D跟踪和布料模拟等下游任务中表现优异。
Apple机器学习研究团队于2026年5月发布了Velox框架，旨在从非结构化的动态彩色点云中学习4D几何与外观的紧凑表示。该框架的核心是一个编码器，能够将时空彩色点云压缩为一组动态形状令牌。这些令牌通过两个互补的解码器进行监督训练：4D表面解码器建模随时间变化的表面分布，精确捕捉物体的几何信息；高斯解码器则将令牌映射到3D高斯，帮助模型学习外观特征。这种设计使得Velox的表示既具有描述性，能够忠实捕捉物体几何与外观，又具有压缩性，有助于提高下游任务的效率。同时，它仅需非结构化的动态点云作为输入，降低了使用门槛。为验证表示的有效性，研究团队在三个下游任务上进行了评估：视频到4D生成、3D跟踪以及基于图像到4D生成的布料模拟。在所有任务中，Velox均展现出强大的性能。该工作由来自多伦多大学和Apple的研究人员共同完成，为4D场景理解和生成提供了高效的新方案。