物理人工智能的'點球成金'法則
本文將'點球成金'概念——利用數據驅動的統計分析發現低估資產——應用於物理人工智能領域。文章認為，機器人數據目前定價錯誤，過度強調數據量和遙操作時長，而忽視了數據的新穎性和邊際效用。通過分析規模法則和數據採集的經濟學，文章提出，物理AI的資本效率取決於準確計算和定價數據的新穎性，而非最大化數據量。
2002年，奧克蘭運動家隊以全聯盟第三低的薪資贏得了103場比賽。這一優勢源於球員資產市場的錯誤定價：傳統球探偏愛主觀審美、盜壘和擊球率，而前瞻性的管理層用數學方法鎖定了上壘率——這才是真正與得分相關的統計量。在滿是直覺型專家的領域中，找到正確的統計信號：這就是“點球成金”！
物理人工智能的數據同樣被誤解和錯誤定價。數據並非天然存在，而是有固有的創造代價。我們必須超越以小時或token計量的簡單規模化思維。被規模化迷惑的人往往“相信數據”，但不同於文本，機器人數據無法直接挖掘。每一個有用的數據小時都需要付費，因此採集規模線性增長而成本不會下降。最近，肯·戈德伯格估計，前沿機器人模型可能需要大約10萬年的數據。
人工智能革命不會通過血汗工廠式的遠程操作來完成。為了繞過這一瓶頸，業界擴大了手動遠程操作基礎設施。然而，優化累積操作時間正是早期棒球中“擊球率”謬誤的再現：它優先考慮一個可見、易於投資的指標，而該指標與最終模型性能的相關性很弱。另一種策略是將機器人投入生產，作為運營收入的零成本副產品來收集遙測數據。這種模式引入了同一統計錯誤的微妙版本。如今能夠部署的利基市場正是方差最小、產生低熵且相關性強的數據流，邊際效用極小。
本文構建了一個數據邊際效用的框架，並以此討論物理AI中的價值積累。我們從規模法則的角度出發，探討損失如何隨數據變化，以及決定一美元數據價值的單位經濟。兩者共同給出了每美元的近似邊際效用——物理AI的上壘率。資本效率不是通過最大化數據量，而是通過準確計算和定價數據的新穎性來實現。
- 數據供應鏈中的利益相關者偏見
不同利益相關者對數據有不同的看法。巧合的是，每種世界觀恰好使其自身的部分最有價值。基礎模型實驗室推廣規模化，因此過度強調大規模預訓練的作用，假設原始計算規模的擴展最終會消除邊緣案例錯誤。遠程操作為基礎設施，優先並商業化原始操作時間，其收入隨數據量而非效用或新穎性增長。硬件供應商假設環境是平穩的，因為他們的解決方案在分佈外失敗。而一大羣學術機器人學家否認這是數據問題，期望物理、模型和控制能填補空白，無需數據洪流。
需要分析的關鍵原型是新集成者。該模型試圖通過將專用機器人單元投入商業生產來繞過數據收集瓶頸，利用人類引導的監督來管理運行失敗。其核心論點依賴於一個未經證實的飛輪：生產遙測數據將產生訓練多任務能力所需的新穎性。Evan Beard在Standard Bots對此進行了詳細闡述。Kyle Vedder則反對先部署，認為願意為早期部署付費的環境天然低方差，從而產生了“新穎性泵”約束。
我們通過一個結合經驗規模法則和數據捕獲單位經濟的中立框架來分析這一爭論，精確找出哪種分配策略能帶來每美元最高的模型能力。
- 機器人數據的分類
物理AI中的數據操作涵蓋三種模態，每種由成本和信息密度之間的權衡定義：觀察數據（低成本、高廣度、缺乏動作的語料庫，如自我中心和非自我中心的視頻）、干預數據（高成本、低廣度、動作密集的演示，如遠程操作）和部署數據（生產系統產生的內生遙測數據，往往虧損運行）。數據最大化常常引入低熵噪聲，降低訓練效率。正如語言建模中C4數據集所示，子集濾除能帶來模型改進。
作為利益相關者，我們需要問：每種數據的一美元能買到什麼？新信息來自哪裏？部署——我們付費收集的數據——能否拓寬可部署的任務集，還是很快枯竭？評估數據管道是一個資本分配問題：平衡數據的邊際成本與新穎信息及推進模型泛化能力的能力。
- 規模法則告訴我們什麼？
規模法則文獻回答了語言模型上的這些問題。數據集的本質不僅在於其大小，還在於包含多少個不同樣本、混合的多樣性、每個樣本重複的頻率，以及新數據與現有數據的接近程度。
3.1 更多數據有幫助嗎？
是的，但呈冪律遞減，直至下限。測試損失隨數據、模型大小和計算量的對數-對數直線下降。在計算最優分配下，兩個可減項以數據速率衰減，合併為一維包絡線。常數E表示模型不可約的預測不確定性。
3.2 多樣性有幫助嗎？
是的，與數據量獨立。多樣化的數據混合同時產生兩個效果：通過跨域遷移和擴展流形覆蓋降低漸近誤差下限，並增加數據集的內在維度。由於β與維度成反比，降低任務內在維度大致翻倍了縮放指數：損失曲線下降更快。但代價是收斂到不能泛化的較劣最優值。為了最大化泛化，預訓練分佈必須避免人為的低內在維度。數據混合定律將混合損失分解為正交的每域冪律和交叉耦合項。
3.3 重複有幫助嗎？
重複在大約四個epoch內提供邊際效用，之後快速衰減，最終損害能力。超過這個閾值，收益遞減嚴重。過度索引狹窄數據部分會導致局部雙下降異常並從根本上損害注意力機制。重複語料庫中0.1%的樣本100次會使8億參數模型性能降至4億參數基線。
3.4 數據幾乎相同呢？
近似重複存在於一個效用連續體中。去除這些冗餘能改善模型泛化，同時優化token預算。小擾動迫使模型在鄰域內映射相同目標，起到隱式一致性正則化作用。因此近似重複效用極低。密集採樣狹窄鄰域會迅速飽和局部容量，損害模型性能。
3.5 長尾發現呢？
罕見、分佈外的事件產生超大的邊際效用，因為模型性能在規模化極限下受失敗尾部限制。真實物理分佈是重尾的；實現前沿準確性需要擬合這些稀有子羣，它們共同構成大量總操作密度。因此，通過篩選高難度、低頻樣本優化語料庫可以繞過標準冪律縮放限制。然而，隨着已知分佈擴大，剩餘的新奇變體呈指數級稀少，驅動發現邊際成本急劇上升。
總結：更多數據遵循冪律遞減到下限；多樣性平衡了降低下限與速率；重複收效甚微甚至有害；近似重複最弱；長尾稀有事例極具信息量但成本遞增。
- 經濟視角：每美元邊際效用
在語言建模中，計算是約束，數據豐富且低成本。而機器人領域，有用數據受採集成本嚴格約束。因此，目標函數從最大化計算效率轉向最大化每美元損失減少。全球能力目標建模為各任務簇的凸組合，每個簇有獨立的縮放包絡線。為了優化有限資本分配，資源支出必須在所有采集和整理渠道上平衡每美元邊際價值。