谷歌推出SensorFM：基於一萬億分鐘傳感器數據預訓練的可穿戴健康基礎模型

大多數可穿戴健康模型一次只針對一個結果進行訓練。這種方法在擴展到35個終點時就會失效，因為標註成本高昂且回顧性註釋不可行。為此，谷歌研究團隊推出了SensorFM，一個在超過1萬億分鐘傳感器數據（來自500萬人）上預訓練的可穿戴健康基礎模型。

SensorFM是一個大型傳感器基礎模型，用於可穿戴時間序列表示學習。它攝入34個一分鐘聚合特徵，這些特徵來自五個傳感器：PPG、加速度計、EDA、皮膚温度和高度計。這些特徵被組織為七個類別，上下文窗口為24小時。骨幹網絡是一個ViT-1D編碼器，採用掩碼自編碼器目標函數進行訓練，補丁大小為[20, 1]。預訓練使用了500萬同意參與的參與者，數據採集時間為2024年9月至2025年9月。該數據集涵蓋100多個國家、美國所有50個州以及20多種Fitbit和Pixel Watch型號，總計超過20億小時（即超過1萬億分鐘）。

研究團隊開發了四種模型變體，每種變體與相應比例的數據量配對。變體包括XXS（138,740參數，5K受試者）、XS（933,204參數，50K受試者）、S（7,290,068參數，500K受試者）和B（110,763,412參數，5M受試者）。評估使用了來自三項前瞻性IRB批准研究的獨立數據，涵蓋13,985名受試者，任務包括心血管、代謝、心理健康、睡眠、人口統計和生活方式等35項。

在擴展性研究中，SensorFM-B在5M語料庫上的重構驗證損失比SensorFM-XXS降低31%，生成損失平均降低28%。在下游任務中，分類AUC提升0.09，迴歸r值提升0.21。然而，當模型容量過大而數據不足時（如B變體僅在5K受試者上訓練），效果反而更差，這強調了數據量需與模型容量成比例擴展。沿協同擴展對角線，平均ROC AUC從0.664提升至0.752，平均皮爾遜r從0.386提升至0.612，且趨勢尚未飽和。

SensorFM的一個關鍵創新是自適應繼承掩碼（AIM）。傳統方法要麼插補缺失數據引入偏差，要麼丟棄窗口造成數據浪費。AIM通過繼承真實缺失掩碼並與人工掩碼取並集，僅在有人工掩碼且有真值的位置計算損失。這使模型能夠高效地處理不完整數據，同時也自然支持插補和預測。在生成任務中，SensorFM在80%隨機插補上比最優基線改善74.8%，在信號插補上改善83.7%。

實際應用時，編碼器保持凍結狀態。每個參與者的日級嵌入通過均值和標準差聚合，然後經PCA降至50維，最後使用線性分類器訓練。這種簡單方法在35項任務中的34項上超越了手工特徵工程基線。例如，在年齡估算任務上，SensorFM的r值達到0.920，而僅使用人口統計特徵的模型為0.662；在心理健康用藥任務上，AUC為0.819 vs 0.594；PHQ-8抑鬱評分的r值為0.450 vs 0.354。但需要注意，在風險評分（如Framingham 30年風險）上，僅用人口統計特徵的模型反而更好，因為這些評分本身就基於人口統計信息。人口統計特徵在低標籤率場景下仍然重要。

為了自動化超參數調優，研究團隊運行了一個“智能體課堂”，包含五個LLM學生智能體（從gemini-2.5 flash到gemini-3.1 pro preview），它們通過20輪循環生成、執行、評分和改進Python預測頭。總共進行了30,516次實驗。智能體發現的預測頭在20項分類任務中的16項上F1分數優於線性探測器，在15項迴歸任務中的12項上提高了皮爾遜相關性。這些解決方案大多保守，將嵌入降至50-100維，線性模型多於非線性模型。

最後，研究測試了SensorFM作為個人健康代理工具的效果。Gemini 3 Flash為31個真實參與者檔案生成健康摘要。四名委員會認證的醫生在盲法條件下對五維度指標進行了1,860次評分。添加SensorFM預測的整體表現優於基線（W=10110, p<0.001），且與真實值在統計上無顯著差異（p=0.396）。

SensorFM的潛在應用包括：篩查和風險分層（凍結編碼器加線性頭標記高風險個體）、修復日常摘要（在60分鐘連續數據缺失時仍保持99.7%步數精度和99.9%深睡精度）、標籤稀缺研究（直接探測凍結嵌入）以及基於定性的個性化指導。該模型代碼和論文已公開，為可穿戴健康領域提供了一種強大的通用基礎模型。