NVIDIA與Hugging Face為開放機器人社區帶來新模型和框架至LeRobot

開源AI已經展示了當模型、數據和工具被共享時，開發者能夠以多快的速度進行創新。機器人技術同樣擁有這樣的機會，但物理AI開發的進步仍然可能受到昂貴且分散的資源的阻礙，包括大型數據集、機器人基礎模型、仿真、計算和驗證工具。

NVIDIA和Hugging Face正在合作，將NVIDIA Isaac GR00T 1.7（一個開放的、推理視覺語言動作（VLA）模型，適用於人形機器人）和NVIDIA Isaac Teleop框架引入LeRobot——Hugging Face的開源機器人庫。此外，計劃很快引入NVIDIA Cosmos 3，這是一個用於物理AI的前沿模型。這些整合共同為開發者提供了一條更易訪問和標準化的端到端機器人開發路徑，同時推動開放機器人社區的創新和協作。

Hugging Face聯合創始人兼首席科學官Thomas Wolf表示：“開源是將先進研究轉化為人們可以學習、適應和構建的東西的方式。隨着NVIDIA Isaac GR00T 1.7和Isaac TeleOp今天加入LeRobot，機器人開發者可以公開使用共享的模型、數據和工作流來訓練和評估機器人。而隨着NVIDIA Cosmos 3的計劃加入，社區將有一條路徑將前沿世界模型引入同一協作循環。”

Hugging Face LeRobot是一個開源機器人庫，用於訓練、運行和共享機器人數據集、模型、策略和工作流。NVIDIA與Hugging Face的持續合作將NVIDIA的300萬機器人開發者與Hugging Face的1600萬AI構建者連接起來，通過開放工作流擴展對前沿物理AI工具的訪問。

將NVIDIA物理AI能力引入LeRobot為開發者提供了一種通用的方式來收集和標準化數據、訓練和微調機器人基礎模型、評估性能並通過開放工作流部署模型。整合包括：

• NVIDIA Isaac Teleop：一個用於機器人數據收集的開源框架，幫助開發者從外部設備捕獲高質量的人類演示，使用標準化的可互操作格式，然後擴展並與社區共享數據集，全部直接在LeRobot中完成。
• NVIDIA Isaac GR00T 1.7：首個開放且商業可行的機器人基礎模型，通過LeRobot工作流使後訓練和部署模型更容易，幫助開發者將GR00T適應新的機器人形態和任務，並具有基準性能。
• NVIDIA Cosmos 3：一個用於物理AI的前沿世界基礎模型，即將加入LeRobot，將幫助開發者生成和增強機器人數據，模擬場景，並在真實世界數據有限或過於昂貴時支持策略開發。

這些整合建立在已連接到LeRobot的更廣泛的NVIDIA資源集之上，以支持完整的機器人開發循環，包括：

• 最大的開源物理AI數據集，下載量超過1500萬次，包含超過35萬個真實和模擬軌跡以及5700萬次抓取，幫助開發者啓動機器人工作流。
• 基於NVIDIA Isaac Sim和Isaac Lab的仿真框架，幫助開發者設置環境、生成機器人數據、測試策略並在遷移到物理機器人之前驗證行為。
• LeRobot環境中心中的NVIDIA Isaac Lab-Arena，使開發者能夠快速原型化複雜的仿真環境，在LeRobot EnvHub中註冊，並在LeRobot生態系統中無縫使用它們來訓練和評估通用機器人策略，如GR00T、Pi和SmolVLA。
• NVIDIA Jetson Thor與LeRobot的Reachy 2集成，支持在開源人形機器人上部署VLA模型。

瞭解更多關於如何使用Isaac Teleop、Isaac GR00T 1.7和Isaac Lab-Arena與LeRobot進行端到端人形開發，並探索詳細的LeRobot整合工作流。