シミュレーションは長らく、ロボットが歩く、転がる、跳ねることを学ぶための試験場でした。今、それはより繊細な作業を教えるために使われています。歯車の位置合わせ、ケーブルの接続、小さな部品の組み立てです。今週テキサス州オースティンで開催されるロボット学習会議(CoRL)では、移動から操作への移行が中心議題となっており、フロンティアエージェントを統合して物理ロボットシステム向けの解釈可能なコードを生成する新たなパラダイムであるエージェント型ロボティクスも台頭しています。
CoRLでNVIDIAは、ワールドアクションモデル、シミュレーションツール、ベンチマーク、エージェント型ワークフローなど、新しいオープンロボティクス技術を発表します。NVIDIAの2本の論文が、数千件の投稿の中から最優秀論文賞の最終候補6本に選ばれています。GRAILはロボット学習向けの3Dアセットとシミュレータ対応シーンのデジタル生成パイプラインを提示します。RoboTTTは、推論レイテンシを増やすことなく、視覚運動コンテキストを最先端ポリシーの3桁上まで拡張するロボットモデルと訓練レシピを導入します。これらの進歩は、研究者が複雑なタスクでロボットを訓練し、変化する条件で性能を評価し、失敗を次の学習に活かすことを可能にし、実験室のデモから産業展開へ移行するために必要な精度、適応性、自律性を構築します。NVIDIAはAmbi Robotics、Bosch Research、Dexmate、Dyna Robotics、FieldAI、Flexion、Noitom Robotics、Siemens、Skild AI、RLWRLD、UC Berkeley、Walden Robotics、ワシントン大学などのパートナーと協力して、これらの成果をより広いロボティクスコミュニティに届けています。
次のレベルのロボット自律性には、周囲を認識し、行動が環境をどう変えるかを予測し、複雑な多段階タスクを高い精度で実行することが求められます。ワールドアクションモデルはまさにそれを可能にします。NVIDIAは、NVIDIA Cosmosを基盤とするオープンなフロンティアワールドアクションモデルGR00T 2を発表します。多様なロボットと人間のデータ、特に10万時間のNVIDIAオープンソース人間エゴセントリックデータで訓練され、ロボットが器用な操作スキルを学習できるようにします。主な特徴は次の通りです。すぐに使える性能として、タスク固有のデモンストレーションなしで50の評価タスクのうち少なくとも40を一度は完了。スキル転送として、人間のデモンストレーションから学習し、ロボットのデモンストレーションなしで異なるロボット身体間でスキルを移転。少データでの汎化として、タスクごとに1回のデモンストレーションで50タスクの平均71%の成功率を達成し、5回で95%に向上。エージェント制御として、AIエージェントがGR00T 2のAPIとサポートツールを使ってスキルを順番に実行し、エラーから回復できます。GR00T 2は現在、RoboCasa365、RoboLab、RoboDojo、MolmoSpacesベンチマークのすべての視覚言語アクションおよびワールドアクションモデルカテゴリでトップ3に入り、複数のリーダーボードで勝利しています。Nexuniはロボットによる洗濯物処理でテストし、Foxconnはサーバー製造の工場自動化にGR00T 2を適用し、Siemensは産業ユースケース全体で評価しています。MicroAGIは強化学習で後訓練したGR00T 2を使用し、YAMロボットアームでイーサネットケーブルの交換を行っています。そのエージェント型ロボティクスアプローチはIsaac Lab 3.0とNewtonを用いてシミュレーション環境の作成とキャリブレーションを自動化し、そこでポリシーを訓練します。このワークフローはCoRLでデモンストレーションされます。
有能なロボットの訓練には多様なデータが必要です。NVIDIAのオープンワークフローとモデルは、研究者にデータ収集と注釈のためのより良いツールを提供します。新しいオープンなVideo to Dataワークフローは人間のビデオをシミュレーションロボットのデモンストレーションに変換し、研究者が技術を進歩させるためのチャレンジも用意されています。NVIDIA EgoHandオープンモデルはCoRLでデモされ、リリースから2週間でHugging Faceで4万回以上ダウンロードされており、Noitom Roboticsのデータで訓練され、3D手の動きを再構築します。
事前訓練済みモデルはロボットに基本的なスキルセットを与えます。シミュレーションは、研究者が物理ロボットに展開する前に、スキルを大規模に訓練、洗練、評価することを可能にします。オープンソースのロボット学習フレームワークであるNVIDIA Isaac Labがその基盤を提供します。最新リリースのIsaac Lab 3.0では、研究者がエージェントを使ってシミュレーション対応アセットで訓練環境を迅速にセットアップし、NVIDIA PhysXとNewton物理ソルバーを切り替え、知覚ベースの訓練用にレンダラーを選択し、GR00Tなどの基盤モデルに新しい強化学習後訓練ライブラリを適用できます。正確な物理は、学習したスキルをシミュレーションから実ロボットに転送するために重要です。オープンソース物理エンジンNewtonとのより緊密な統合により、Isaac Labはケーブルや布などの変形可能物体や、多くの相互作用する関節を持つロボットハンドなどの複雑な関節システムをモデル化できるようになりました。Isaac LabとNewtonの組み合わせは、正確な物理とスケールを融合し、研究者が数千のシミュレーションロボットを並行して訓練できるようにします。視覚ベースの器用操作ベンチマークでは、Isaac Lab 3.0とNewtonがIsaac Lab 2.3とPhysXの最大2.5倍の訓練スループットを達成しました。開発者はNewtonの機能を拡張しています。Skild AIはCoRLで、Isaac Labによるロボット訓練を加速するためにNewton上に構築された新しい剛体物理ソルバーSTEELを発表しました。FlexionはIsaac LabとNewtonが推論と全身操作を組み合わせたロボット知能モデルReflectの訓練にどう役立つかを示しました。FieldAIはNewtonと、NVIDIA Omniverseライブラリ上に構築されたIsaac LabおよびIsaac Simを使用して、非構造化実環境での展開に向けたロボットポリシーを訓練・検証しています。Dyna RoboticsはIsaac Labの並列シミュレーションが、倉庫、ホテル、飲食サービスで働く半人型ロボットTakuの全身コントローラの訓練にどう役立つかをデモします。Walden RoboticsはIsaac Simの写実的レンダリングを利用して、製造と物流向けの汎用ロボットを仮想環境で訓練・評価しています。DexmateはコーディングエージェントがIsaac Simで操作戦略をリハーサルし洗練させてからVegaロボットで実行する方法を探っています。Isaac Labで構築されたAlphaNISTは、効率的な練習が精度にどうつながるかを示します。単一のポリシーがNIST組立タスクボードの全20タスクを学習し、はい/いいえの成功信号だけでミリメートル規模の部品を操作します。訓練成功率は98%以上で、個別タスクポリシーの81%と比較して、GPU時間は約39分の1です。その背景には、ワシントン大学とNVIDIAのSuccess-Guided Sampling(SGS)があります。この手法は、ポリシーが約半分の確率で成功するタスクに練習を集中させ、まだ学習中のスキルに訓練を向けます。SGSにより、ロボット訓練は100万を超える並列環境に拡張できます。テキサス大学オースティン校の計算機学部とTexas RoboticsはIsaac SimとIsaac Labを使用してシミュレーションでロボットスキルを訓練し、学生が物理ハードウェアなしで開発を開始できるようにしています。
スキルを学ぶことは一つの課題です。変化する条件の下で確実に実行することは別の課題です。NVIDIA Isaac Lab-Arenaは、スケールされたポリシー評価のためのオープンソースフレームワークで、開発者が多様で再現可能な評価を構成し、数千のバリエーションで並行してポリシーを実行できるようにします。分析によりどの条件が失敗を引き起こすかが明らかになり、研究者は次の訓練実行で修正すべき点を知ることができます。最新バージョン0.4の開発者プレビューはCoRLで提供されます。DexBenchとVABARは2つの新しいオープンベンチマークで、Isaac Lab-ArenaとNewtonを使用して産業タスク全体でロボットの器用さと適応性を測定するために設計された最初のものの一つです。DexBenchはRLWRLDがNVIDIAと協力して開発し、器用さ評価を卓上から実世界のワークフローに移します。Isaac Lab-Arenaを使用して構築され、小売、物流、製造、ホスピタリティにわたる4つのシーンで15のタスクを特徴とし、物体、空間、物理のバリエーション全体で汎化をテストします。Genesis AI、mimic roboticsなどの業界パートナーが早期アクセスを通じてDexBenchを評価しています。チームはBifrostのロボティクスシミュレーション評価プラットフォームManifoldでDexBenchをセットアップ不要で実行でき、組み込みの失敗分析と初期評価用の無料クレジットが利用できます。VABAR(エージェント型ロボティクスのための変動自動化ベンチマーク)はUC BerkeleyとNVIDIAが開発し、6つの産業タスクでロボットを評価します。各タスクには標準化されたバリエーション、難易度ティア、成功指標があります。
タスクを成功裏に完了するには、ロボットが複数のスキルを調整し、問題が発生したときに適応する必要があります。これらの多段階タスクの信頼性の高いプログラムを構築することは依然として課題です。エージェント型ロボティクスはその課題の解決に役立ちます。UC Berkeleyの新しいGraph-as-Policy(GaP)フレームワークは、エージェントを使用して個々のスキルをロボットプログラムに接続します。エージェントはNVIDIA Isaacのオープンシミュレーション技術を使用してこれらのプログラムをテストし、失敗に基づいて改善します。これにより研究者はより少ないデータで開発をスケールでき、プログラムは展開前にエンジニアがレビューおよび検証できるよう解釈可能なままです。UC Berkeleyのロボティクス教授でVABARとGaPプロジェクトのリードを務めるKen Goldberg氏は、「私にとって、エージェント型ロボティクスは1995年のインターネット以来最もエキサイティングな技術的進歩です」と述べています。Ambi Roboticsは産業自動化のためにGaPを探求しており、Ambi Robotics、Bosch Research、Siemensは多様な産業シナリオでのエージェント型ロボティクスワークフローにGaPを活用することを検討しています。