將機器人視頻轉化為訓練就緒數據
daft-physical-ai 是一個新的開源 Python 庫，基於 Daft 構建，旨在簡化物理 AI 中從原始機器人視頻到訓練模型的數據處理流程。它提供了手部追蹤和獎勵評分等操作，支持懶加載、批處理和分佈式執行，幫助團隊跳過數據管道的基礎設施工作。
對於構建物理 AI 的開發者來説，數據處理往往是最耗時但最關鍵的環節。原始機器人視頻需要經過標註、評分和過濾，才能用於模型訓練。為了解決這一痛點，Eventual 團隊發佈了 daft-physical-ai——一個基於 Daft 的開源 Python 庫，提供了一組現成的操作，幫助開發者跳過從原始錄製到訓練數據之間的管道基礎設施工作。
安裝非常簡單，只需運行 pip install daft-physical-ai。每個操作都作為 Daft UDF（用户定義函數）實現，可以插入到任何數據管道中，並利用 Daft 的懶加載、批處理和分佈式執行能力。目前該庫專注於兩個主要用例：手部追蹤和獎勵評分，未來還將添加更多功能。
手部追蹤（track_hands）接受一個 Daft 圖像列，返回手部姿態列。用户可以選擇 MediaPipe（CPU，2D）或 WiLoR（GPU，3D MANO 關鍵點），兩者返回相同的模式，因此管道的其餘部分無需更改。每種方法作為額外的安裝選項提供：pip install "daft-physical-ai[mediapipe]" 或 [wilor]。由於是懶加載的批處理 UDF，實際執行直到數據物化時才會觸發，並且幀會並行處理。
獎勵評分（score_rewards）使用 Robometer-4B 獎勵模型對機器人回合進行評分，提供每幀的任務進度（0-1）和成功概率，並作為數據列寫回。用户需要運行一個 Robometer 評估服務器（本地 GPU 或 Modal），然後將管道指向其 URL。評分結果可以直接用於質量過濾，例如篩選出最終幀成功概率低於 0.5 的回合，這些回合可能需要重新審查。
為了讓用户快速上手，daft-physical-ai 支持通過 uvx 命令生成可運行的演示筆記本。例如，uvx daft-physical-ai hands 會生成手部追蹤的演示，uvx daft-physical-ai rewards 則生成獎勵評分的演示。該庫已在 PyPI 上發佈，源代碼、示例和設置詳情可在 daft-physical-ai 倉庫中找到。