谷歌推出SensorFM：基于一万亿分钟传感器数据预训练的可穿戴健康基础模型

大多数可穿戴健康模型一次只针对一个结果进行训练。这种方法在扩展到35个终点时就会失效，因为标注成本高昂且回顾性注释不可行。为此，谷歌研究团队推出了SensorFM，一个在超过1万亿分钟传感器数据（来自500万人）上预训练的可穿戴健康基础模型。

SensorFM是一个大型传感器基础模型，用于可穿戴时间序列表示学习。它摄入34个一分钟聚合特征，这些特征来自五个传感器：PPG、加速度计、EDA、皮肤温度和高度计。这些特征被组织为七个类别，上下文窗口为24小时。骨干网络是一个ViT-1D编码器，采用掩码自编码器目标函数进行训练，补丁大小为[20, 1]。预训练使用了500万同意参与的参与者，数据采集时间为2024年9月至2025年9月。该数据集涵盖100多个国家、美国所有50个州以及20多种Fitbit和Pixel Watch型号，总计超过20亿小时（即超过1万亿分钟）。

研究团队开发了四种模型变体，每种变体与相应比例的数据量配对。变体包括XXS（138,740参数，5K受试者）、XS（933,204参数，50K受试者）、S（7,290,068参数，500K受试者）和B（110,763,412参数，5M受试者）。评估使用了来自三项前瞻性IRB批准研究的独立数据，涵盖13,985名受试者，任务包括心血管、代谢、心理健康、睡眠、人口统计和生活方式等35项。

在扩展性研究中，SensorFM-B在5M语料库上的重构验证损失比SensorFM-XXS降低31%，生成损失平均降低28%。在下游任务中，分类AUC提升0.09，回归r值提升0.21。然而，当模型容量过大而数据不足时（如B变体仅在5K受试者上训练），效果反而更差，这强调了数据量需与模型容量成比例扩展。沿协同扩展对角线，平均ROC AUC从0.664提升至0.752，平均皮尔逊r从0.386提升至0.612，且趋势尚未饱和。

SensorFM的一个关键创新是自适应继承掩码（AIM）。传统方法要么插补缺失数据引入偏差，要么丢弃窗口造成数据浪费。AIM通过继承真实缺失掩码并与人工掩码取并集，仅在有人工掩码且有真值的位置计算损失。这使模型能够高效地处理不完整数据，同时也自然支持插补和预测。在生成任务中，SensorFM在80%随机插补上比最优基线改善74.8%，在信号插补上改善83.7%。

实际应用时，编码器保持冻结状态。每个参与者的日级嵌入通过均值和标准差聚合，然后经PCA降至50维，最后使用线性分类器训练。这种简单方法在35项任务中的34项上超越了手工特征工程基线。例如，在年龄估算任务上，SensorFM的r值达到0.920，而仅使用人口统计特征的模型为0.662；在心理健康用药任务上，AUC为0.819 vs 0.594；PHQ-8抑郁评分的r值为0.450 vs 0.354。但需要注意，在风险评分（如Framingham 30年风险）上，仅用人口统计特征的模型反而更好，因为这些评分本身就基于人口统计信息。人口统计特征在低标签率场景下仍然重要。

为了自动化超参数调优，研究团队运行了一个“智能体课堂”，包含五个LLM学生智能体（从gemini-2.5 flash到gemini-3.1 pro preview），它们通过20轮循环生成、执行、评分和改进Python预测头。总共进行了30,516次实验。智能体发现的预测头在20项分类任务中的16项上F1分数优于线性探测器，在15项回归任务中的12项上提高了皮尔逊相关性。这些解决方案大多保守，将嵌入降至50-100维，线性模型多于非线性模型。

最后，研究测试了SensorFM作为个人健康代理工具的效果。Gemini 3 Flash为31个真实参与者档案生成健康摘要。四名委员会认证的医生在盲法条件下对五维度指标进行了1,860次评分。添加SensorFM预测的整体表现优于基线（W=10110, p<0.001），且与真实值在统计上无显著差异（p=0.396）。

SensorFM的潜在应用包括：筛查和风险分层（冻结编码器加线性头标记高风险个体）、修复日常摘要（在60分钟连续数据缺失时仍保持99.7%步数精度和99.9%深睡精度）、标签稀缺研究（直接探测冻结嵌入）以及基于定性的个性化指导。该模型代码和论文已公开，为可穿戴健康领域提供了一种强大的通用基础模型。