SensorFM:面向可穿戴健康資料的通用智慧與介面
谷歌研究院推出 SensorFM,這是一個基於超過一萬億分鐘感測器資料和五百萬人訓練的可穿戴健康基礎模型。它透過自監督學習掌握人類生理的通用表示,可遷移至35項健康任務,支援標籤高效適配,並能作為個人健康代理的基石。
谷歌研究院近日釋出了 SensorFM,一個面向可穿戴健康資料的通用基礎模型。該模型在超過一萬億分鐘的多模態感測器資料上進行了預訓練,這些資料來自五百萬名同意參與健康研究的志願者。SensorFM 透過自監督學習掌握了人類生理的通用表示,能夠遷移至心血管、代謝、睡眠和心理健康等35項健康預測任務,同時支援高效的資料填充和標籤高效適配。
為了構建預訓練資料集,研究人員從2024年9月至2025年9月間收集了來自100多個國家、涵蓋20多種Fitbit和Pixel Watch裝置型號的去標識化資料。每位參與者貢獻了數週的資料,總計超過20億小時(即超過一萬億分鐘)的分鐘級訊號。SensorFM 輸入34個一分鐘聚合特徵,來自五種感測器模態:光電容積描記法、加速度計、皮膚電活動、皮膚溫度和高度計。這些特徵共同捕捉了24小時視窗內的心率、心率變異性、血氧飽和度、睡眠階段、運動步數、皮膚電導和溫度等資訊。
SensorFM 採用缺失感知掩蔽的自監督學習方法,基於LSM-2架構和自適應繼承掩蔽框架。這一設計至關重要,因為可穿戴裝置資料通常存在大量缺失,如感測器斷電、裝置取下或省電模式等。傳統方法要麼插補缺失值引入偏差,要麼丟棄不完整視窗。而AIM將真實缺失視作自然偽影,與人工掩蔽的標記同等對待,從而讓模型天然具備處理缺失資料的能力。實驗表明,SensorFM不僅容忍碎片化資料,還能有效利用它進行生成任務。
研究團隊透過系統的縮放實驗,將預訓練資料量從約200萬感測器小時擴充套件到20億小時,模型引數從10萬增加到1億。結果顯示,預訓練損失隨資料和容量增長呈規律性下降,且下游任務效能同步提升。最大模型SensorFM-B在35項任務中的33項上表現最佳,相比最小變體,重建損失降低31%,分類任務AUC平均提升9%,迴歸任務皮爾遜係數平均提升21%。值得注意,同時擴充套件資料和容量帶來近乎線性的增益,且曲線未見飽和跡象。
為評估表示泛化性,團隊在三個獨立前瞻性研究的13985名參與者上測試了35項健康任務,涵蓋心血管、代謝、心理健康、睡眠、人口統計和生活方式六大類別。使用凍結的SensorFM編碼器僅訓練線性分類頭,結果在34項任務上超越基於工程特徵的監督基線。加入人口統計特徵(年齡、性別等)帶來的提升隨模型規模增大而減小,表明大模型在預訓練中已隱含捕獲生理相關特徵。尤其對於憂鬱症和焦慮症等難以測量的疾病,SensorFM能有效學習個體差異並提取跨人群的模式。標籤效率實驗顯示,僅使用少量標註樣本,模型即可快速超越基線。
為自動化預測頭設計,研究團隊構建了“智慧體教室”:一組協作和競爭的LLM智慧體迭代生成、測試和最佳化程式碼。該系統探索了超過30000個候選方案,智慧體設計的頭在16項分類和12項迴歸任務上優於簡單線性探針,且解決方案質量隨搜尋單調提升,並隨底層LLM能力增強而提高。
最終,團隊將SensorFM整合至個人健康代理,比較了僅使用人口統計+每日指標、加入SensorFM預測、加入真實測量三種條件下的健康摘要生成。臨床醫生盲評顯示,加入SensorFM預測在上下文、相關性、可證明性、個性化和潛在危害等維度均顯著優於基線,且與使用真實測量無統計差異。這表明SensorFM的推斷足以作為個人健康代理的可靠基礎。
SensorFM標誌著可穿戴健康研究從眾多單一任務模型向通用生理表示的轉變,為個性化醫療提供了強大工具。