將機器人影片轉化為訓練就緒資料
daft-physical-ai 是一個新的開源 Python 庫，基於 Daft 構建，旨在簡化物理 AI 中從原始機器人影片到訓練模型的資料處理流程。它提供了手部追蹤和獎勵評分等操作，支援懶載入、批處理和分散式執行，幫助團隊跳過資料管道的基礎設施工作。
對於構建物理 AI 的開發者來說，資料處理往往是最耗時但最關鍵的環節。原始機器人影片需要經過標註、評分和過濾，才能用於模型訓練。為了解決這一痛點，Eventual 團隊釋出了 daft-physical-ai——一個基於 Daft 的開源 Python 庫，提供了一組現成的操作，幫助開發者跳過從原始錄製到訓練資料之間的管道基礎設施工作。
安裝非常簡單，只需執行 pip install daft-physical-ai。每個操作都作為 Daft UDF（使用者定義函式）實現，可以插入到任何資料管道中，並利用 Daft 的懶載入、批處理和分散式執行能力。目前該庫專注於兩個主要用例：手部追蹤和獎勵評分，未來還將新增更多功能。
手部追蹤（track_hands）接受一個 Daft 影像列，返回手部姿態列。使用者可以選擇 MediaPipe（CPU，2D）或 WiLoR（GPU，3D MANO 關鍵點），兩者返回相同的模式，因此管道的其餘部分無需更改。每種方法作為額外的安裝選項提供：pip install "daft-physical-ai[mediapipe]" 或 [wilor]。由於是懶載入的批處理 UDF，實際執行直到資料物化時才會觸發，並且幀會並行處理。
獎勵評分（score_rewards）使用 Robometer-4B 獎勵模型對機器人回合進行評分，提供每幀的任務進度（0-1）和成功機率，並作為資料列寫回。使用者需要執行一個 Robometer 評估伺服器（本地 GPU 或 Modal），然後將管道指向其 URL。評分結果可以直接用於質量過濾，例如篩選出最終幀成功機率低於 0.5 的回合，這些回合可能需要重新審查。
為了讓使用者快速上手，daft-physical-ai 支援透過 uvx 命令生成可執行的演示筆記本。例如，uvx daft-physical-ai hands 會生成手部追蹤的演示，uvx daft-physical-ai rewards 則生成獎勵評分的演示。該庫已在 PyPI 上釋出，原始碼、示例和設定詳情可在 daft-physical-ai 倉庫中找到。