Google Research、SensorFMを発表：1兆分のセンサーデータで事前学習されたウェアラブルヘルス基礎モデル
Google Research、Google DeepMind、および大学の共同研究者は、500万人の参加者から得られた1兆分以上のセンサーデータで事前学習されたウェアラブルヘルス向け基礎モデルSensorFMを発表しました。ViT-1Dマスクド・オートエンコーダをバックボーンとし、大規模データでのスケーリング特性を示します。凍結された埋め込みにPCA-50線形プローブを組み合わせることで、35タスク中34タスクで特徴エンジニアリングベースラインを上回りました。また、30,516個の予測ヘッドを探索したエージェント教室と、パーソナルヘルスエージェントを評価する臨床医評価についても詳述されています。
ほとんどのウェアラブルヘルスモデルは、一度に一つの結果に焦点を当てて構築されています。このアプローチは35ものエンドポイントに拡張しようとすると破綻します。ラベル付けは高価であり、遡及的なアノテーションは非現実的です。この問題に対処するため、Google ResearchはSensorFMを発表しました。これは、500万人から得られた1兆分以上のセンサーデータで事前学習されたウェアラブルヘルス向け基礎モデルです。
SensorFMは、ウェアラブル時系列表現学習のための大規模センサー基盤モデルです。PPG、加速度計、EDA、皮膚温度、高度計の5つのセンサーから得られた34の1分間の集約特徴量を入力とします。これらの特徴量は7つのカテゴリに整理され、24時間のコンテキストウィンドウで処理されます。バックボーンはViT-1Dエンコーダで、マスクド・オートエンコーダの目的関数で訓練され、パッチサイズは[20, 1]です。事前学習には、2024年9月から2025年9月にかけてサンプリングされた500万人の同意参加者が使用されました。データは100カ国以上、米国全50州、20以上のFitbitおよびPixel Watchモデルをカバーし、総計20億時間（1兆分以上）に及びます。
研究者らは4つのモデルバリアントを開発し、それぞれに比例したデータ量を対応させました。バリアントはXXS（138,740パラメータ、5K被験者）、XS（933,204パラメータ、50K被験者）、S（7,290,068パラメータ、500K被験者）、B（110,763,412パラメータ、5M被験者）です。評価には3つの前向きIRB承認研究からの独立したデータが使用され、13,985名の被験者が対象となりました。タスクは心血管、代謝、精神的健康、睡眠、人口統計、ライフスタイルの35項目に及びます。
スケーリング研究では、SensorFM-Bは5Mコーパスで再構成検証損失をSensorFM-XXSより31%削減し、生成損失は平均28%低下しました。下流タスクでは、分類AUCが0.09、回帰rが0.21向上しました。しかし、モデル容量が大きくデータが不足している場合（Bバリアントを5K被験者のみで訓練）、性能は低下し、データ量をモデル容量に比例して拡大する必要性が示されました。共同スケーリング対角線に沿って、平均ROC AUCは0.664から0.752へ、平均ピアソンrは0.386から0.612へ向上し、この傾向は飽和していません。
SensorFMの重要な革新は、適応的継承マスキング（AIM）です。従来の手法では欠損データを補間してバイアスを導入するか、ウィンドウを破棄してデータを無駄にしていました。AIMは実際の欠損マスクを継承し、人工マスクとの和集合を取ることで、人工マスクが適用され真値が存在するパッチのみで損失を計算します。これにより、モデルは不完全なデータを効率的に処理でき、補間と予測も自然にサポートされます。生成タスクでは、SensorFMは80%ランダム補間で最良ベースラインを74.8%、信号補間で83.7%改善しました。
実際の応用では、エンコーダは凍結されたまま使用されます。各参加者の日次埋め込みは平均と標準偏差で集約され、PCAで50次元に削減された後、線形分類器で訓練されます。この単純な手法により、35タスク中34タスクで手作業の特徴工学ベースラインを上回りました。例えば、年齢推定ではSensorFMのr値は0.920（人口統計のみでは0.662）、精神的健康の薬物使用ではAUC 0.819（対0.594）、PHQ-8うつ病スコアではr 0.450（対0.354）でした。ただし、リスクスコア（Framingham 30年リスクなど）では人口統計のみのモデルが優れており、これらのスコア自体が人口統計情報に基づいているためです。人口統計的特徴はラベルが少ない状況では依然として重要です。
ハイパーパラメータ調整を自動化するため、研究者らは「エージェント教室」を実施しました。gemini-2.5 flashからgemini-3.1 pro previewまでの5つのLLM学生エージェントが、20サイクルにわたってPython予測ヘッドを生成、実行、スコアリング、改良しました。合計30,516回の実験が行われました。エージェントが発見したヘッドは、20の分類タスク中16タスクでF1スコアが線形プローブを上回り、15の回帰タスク中12タスクでピアソン相関が向上しました。これらのソリューションは控えめで、埋め込みを50～100次元に削減し、線形モデルが非線形モデルを上回りました。
最後に、研究ではSensorFMをパーソナルヘルスエージェントのツールとして評価しました。Gemini 3 Flashが31の実参加者プロファイルの健康サマリーを生成し、4人の認定医師がブラインド条件下で5つのルーブリック次元について1,860件の評価を行いました。SensorFMの予測を追加した場合、ベースラインを全体的に上回り（W=10110, p<0.001）、各次元でも改善が見られました。また、その予測は真値と統計的に有意差がありませんでした（p=0.396）。
SensorFMの応用可能性としては、スクリーニングとリスク層別化（凍結エンコーダ＋線形ヘッドで高リスク候補を識別）、日次サマリーの修復（60分連続欠損時でも歩数99.7%、深睡眠99.9%の精度を維持）、ラベル不足の研究（凍結埋め込みを直接探索）、および定性的な個別指導などが挙げられます。モデルのコードと論文は公開されており、ウェアラブルヘルス分野の強力な基盤モデルを提供します。