Inertia-1:统一运动基础模型的开源探索
Inertia-1是一个统一的运动基础模型,通过在手腕数据上进行大规模自监督学习,创建可泛化到不同身体部位和传感器类型的表示,并揭示了采样率、窗口大小等设计选择对实际性能的影响。
在运动传感领域,数据集在采样率、窗口长度、传感器类型、身体安装位置乃至信号格式上存在巨大差异,导致每个任务都需要专门定制的模型,研究成果难以迁移。Inertia-1提出了一种统一的运动基础模型,旨在通过一个受控空间研究运动模型的完整生命周期——包括数据、传感、目标和规模——来解决这一碎片化问题。其核心思想是学习一种通用的表示形式,能够适应不同的身体位置、设备和任务,远远超出训练时的设置。
研究团队在手腕加速度计数据上进行了大规模自监督预训练,使用了超过1800万小时来自全球多个队列的数据。令人惊讶的是,这个在手腕上训练出的模型可以直接泛化到头部、胸部、背部、手臂、腿部等其他身体位置,以及陀螺仪、磁力计等传感器,完全无需针对每个新位置重新训练。此外,通过融合多个数据流——例如同时使用加速度计、陀螺仪和磁力计,或者多个身体位置的数据——学习到的表示变得更加准确,活动聚类也更加紧凑,因为每个数据流都捕捉到了互补的信息。
除了位置和传感器的泛化能力,Inertia-1还强调了传感设计选择的重要性。研究发现,对于活动识别,即使在低至1 Hz的采样率下,预训练模型也能保持强性能;但对于更精细的健康信号,更高的采样率更为有利。窗口长度方面,30到60秒的窗口在大多数任务中表现最佳,既能捕获足够的上下文信息又保持锐度。在信号表示上,完整的三轴输入始终优于压缩的向量幅度摘要,因为额外的轴携带了有价值的信息。时域建模比频域重构更能保留步态和健康线索。
Inertia-1的工作流程分为三步:首先在大规模加速度计数据上进行自监督预训练;然后通过轻量调优或无调优将相同的表示迁移到新的位置、设备和采样率;最后部署到各类应用,从健身追踪到临床筛查。该模型代表了向统一运动基础模型迈出的第一步,研究团队开放了模型权重并邀请合作者共同探索这一方向。