フィジカルAIへのマネーボール戦略

2002年、オークランド・アスレチックスはメジャーリーグ最低の給与額で103試合に勝利した。この優位性は、選手資産市場の誤った価格設定に起因する。従来のスカウトは主観的な美学、盗塁、打率を重視したのに対し、先進的な経営陣は数学的に出塁率——実際に得点と相関する統計——を特定したのである。直感に頼る専門家が溢れる分野で、正しい統計によるシグナルを見つけること：それがマネーボールだ！

フィジカルAIのデータは誤解され、誤って価格設定されている。データは物理世界に自然には存在せず、生成には固有のコストがかかる。我々は、時間やトークンによる単純なスケーリングを超えて進む必要がある。スケーリングに惑わされると「データを信じる」ことになりがちだが、テキストとは異なり、ロボットデータは採掘可能ではない。有用な1時間ごとにコストがかかるため、収集は線形にスケールし、コストは下がらない。最近、ケン・ゴールドバーグは、最先端のロボットモデルには約10万年のデータが必要になるかもしれないと推定した。

AGI革命は、スウェットショップ方式の遠隔操作では実現しない。このボトルネックを回避するため、業界は手動遠隔操作インフラを拡大してきた。しかし、累積運用時間の最適化は、初期の野球における「打率」の誤謬を再現する。すなわち、目に見え投資しやすい指標を優先し、実際のモデル性能との相関は弱い。別の戦略として、ロボットを生産現場に投入し、運用収益の副産物としてゼロコストでテレメトリを収集することが提案されている。このモデルは、同じ統計的誤りの微妙なバージョンをもたらす。今日展開が可能なニッチは、最も分散が小さく、低エントロピーで相関の高いデータストリームを生み出し、限界効用は最小限である。

本稿は、データの限界効用に関するフレームワークを構築し、フィジカルAIにおける価値蓄積を議論する。損失がデータとともにどのように振る舞うかを導くスケーリング則と、1ドルのデータが何に値するかを決定するユニットエコノミクスの観点から考察する。これらを合わせると、1ドルあたりの近似限界効用——フィジカルAIの出塁率——が得られる。資本効率は、データ量の最大化ではなく、データの新規性を正確に計算し価格設定することによって達成される。

1. データサプライチェーンにおけるステークホルダーのバイアス

様々なステークホルダーはデータに対して異なる見解を持つ。偶然にも、それぞれの世界観が自分たちの部分を最も価値あるものにしている。基盤モデルラボは汎用モデルスケールを推進するため、大規模事前学習の役割を過大評価し、生の計算スケーリングが最終的にエッジケースのエラーを排除すると仮定する。遠隔操作ベンダーはインフラ的ユーティリティであり、生の運用時間を優先して収益化する。なぜなら彼らの収益はデータ量に比例し、効用や新規性には比例しないからだ。ハードウェア企業は環境の定常性を仮定し、そのソリューションは分布外で失敗する。そして大規模なアカデミックロボティクスコミュニティは、そもそもデータの問題であることを否定し、物理、モデル、制御がデータの洪水なしにギャップを埋めると期待する。

分析すべき主要なアーキタイプはネオインテグレーターである。このモデルは、専門化されたロボットユニットを商業生産に投入し、ヒューマンインザループによる監視で運用上の障害を管理することで、データ収集のボトルネックを回避しようとする。その核心は、未証明の経済的フライホイール、すなわち、生産テレメトリがマルチタスク能力を訓練するために必要な新規性を生み出すという命題に依存する。Evan BeardがStandard Botsで詳述している。Kyle Vedderは展開優先に反論し、初期展開に支払いをする環境は自然に低分散であり、「新規性ポンプ」の制約を生み出すと主張する。

我々は、経験的スケーリング則とデータキャプチャのユニットエコノミクスを組み合わせた中立的フレームワークを通じてこの議論を分析し、どの割り当て戦略が1ドルあたりの最高のモデル能力をもたらすかを特定する。

1. ロボットデータの分類

フィジカルAIにおけるデータ操作は、コストと情報密度のトレードオフによって定義される3つのモダリティにまたがる：観察データ（低コスト、高網羅性、行動欠落のコーパス）、介入データ（高コスト、低網羅性、行動密集のデモンストレーション）、展開データ（生産システムによって生成される内生テレメトリ）。データの最大化はしばしば、トレーニング効率を低下させる低エントロピーノイズを導入する。言語モデリングのC4データセットで示されたように、部分集合の除去はモデル改善につながる。

ステークホルダーとして問うべきは、各タイプのデータで1ドルが何を買うのか？新しい情報はどこから来るのか？展開、つまり我々が収集に対して支払いを受けるデータは、展開可能なタスクのセットを広げるのか、それともすぐに枯渇するのか？データパイプラインの評価は資本配分問題であり、データの限界コストと、モデルの汎化能力を進める新規情報とのバランスを取ることである。

1. スケーリング則は何を教えるか？

スケーリング則の文献は、言語モデルに関するこれらの質問に答える。データセットにとって重要なのは、サイズだけでなく、含まれる個別サンプルの数、混合の多様性、各サンプルの繰り返し頻度、既存データとの近接性である。

3.1 データを増やすと役立つか？

はい、ただし収穫逓減のべき乗則に従い、下限に達する。テスト損失はデータ、モデルサイズ、計算量に対して対数-対数で直線的に減少する。計算最適配分では、二つの削減可能項がデータレートで減衰し、一次元の包絡線に収束する。定数Eはモデルの不可避な予測不確実性を表す。

3.2 多様性は役立つか？

はい、データ量とは独立した軸で作用する。多様なデータ混合は二つの同時効果をもたらす：クロスドメイン転移と拡張多様体被覆による漸近誤差下限の低下、およびデータセットの内在次元の増加。βは次元に反比例するため、タスクの内在次元を半分にするとスケーリング指数がほぼ倍になり、損失曲線はより速く低下する。しかしその代償として、汎化をもたらさない劣った最適値に収束する。汎化を最大化するには、事前学習分布は人為的に低い内在次元を避けなければならない。データ混合則は、混合損失を直交するドメインごとのべき乗則とクロスカップリング項に分解する。

3.3 繰り返しは役立つか？

繰り返しは約4エポックまで限界効用を提供し、その後急速に減衰し、最終的には能力を損なう。この閾値を超えると、追加の計算はゼロの情報利得しかもたらさない。さらに、狭いデータ部分への過剰な偏りは、局所的な二重降下異常を引き起こし、注意機構を根本的に劣化させる。コーパスの0.1%を100回繰り返すと、8億パラメータモデルの性能が4億パラメータベースラインにまで低下する。

3.4 データがほぼ同じ場合は？

類似重複は効用の連続体上に存在する。これらの冗長性を除去することで、モデルの汎化が改善され、トークン予算が最適化される。小さな摂動は、モデルに同一ターゲットを近傍内でマッピングさせるため、暗黙の一致性正則化として機能する。したがって、類似重複の効用は非常に低い。狭い近傍を密にサンプリングすると、局所容量が急速に飽和し、モデル性能を損なう。

3.5 ロングテールの発見は？

稀な分布外事象は非常に大きな限界効用をもたらす。なぜなら、スケーリング限界におけるモデル性能は失敗のテールによって制約されるからだ。実世界の物理分布は重尾であり、最先端の精度を達成するには、これらの稀なサブ母集団を適合させる必要がある。したがって、高難度・低頻度のサンプルでコーパスを最適化することで、標準的なべき乗則スケーリングの制約を回避できる可能性がある。しかし、既知の分布が拡大するにつれて、残りの新奇バリアントは指数関数的に希少になり、発見の限界コストは急上昇する。

まとめ：データ増加は収穫逓減のべき乗則に従う。多様性は下限を下げるが率を犠牲にする。繰り返しはほとんど効果がなく、最終的に有害。類似重複は最も弱い。ロングテールの稀な事象は非常に情報価値が高いが、発見コストが増大する。

1. 経済的視点：1ドルあたりの限界効用

言語モデリングでは、計算が制約要因であり、データは豊富で低コストである。対照的にロボティクスでは、有用なデータはデータ取得コストによって厳しく制約される。したがって、目的関数は計算効率の最大化から、1ドルあたりの損失削減の最大化に移行する。世界全体の能力目標は、個別タスククラスターの凸結合としてモデル化される。限られた資本配分を最適化するには、すべての収集・キュレーションチャネルにわたって1ドルあたりの限界価値を均等化する必要がある。