Velox：学习4D几何与外观的表示

Apple机器学习研究团队于2026年5月发布了Velox框架，旨在从非结构化的动态彩色点云中学习4D几何与外观的紧凑表示。该框架的核心是一个编码器，能够将时空彩色点云压缩为一组动态形状令牌。这些令牌通过两个互补的解码器进行监督训练：4D表面解码器建模随时间变化的表面分布，精确捕捉物体的几何信息；高斯解码器则将令牌映射到3D高斯，帮助模型学习外观特征。这种设计使得Velox的表示既具有描述性，能够忠实捕捉物体几何与外观，又具有压缩性，有助于提高下游任务的效率。同时，它仅需非结构化的动态点云作为输入，降低了使用门槛。为验证表示的有效性，研究团队在三个下游任务上进行了评估：视频到4D生成、3D跟踪以及基于图像到4D生成的布料模拟。在所有任务中，Velox均展现出强大的性能。该工作由来自多伦多大学和Apple的研究人员共同完成，为4D场景理解和生成提供了高效的新方案。