AIエージェントが仮想プレイグラウンドを作成し、ロボットに重要な訓練データを提供

ロボットが通りを歩き、驚いた見物人に囲まれる光景はますます一般的になっている。しかし、これらの機械はまだ、キッチンや工場で働きたいと思うような万能アシスタントには程遠く、大きなボトルネックはデータである。人間と同様に、ロボットは経験によって最もよく学習する。問題は、物理的にこれらの機械にさまざまな環境で多くの動作を教えることは、労力と時間がかかることだ。

「シミュレーションを訓練の場として使うことは自然なアイデアです。過去数年間でロボットシミュレーターを動かす物理エンジンは大幅に進歩しましたが、残る課題の一つは、現実世界の複雑さを捉えるのに十分に豊かで多様なシミュレーションコンテンツを作成することです」と、MITの電気工学・コンピュータ科学、航空宇宙学、機械工学のToyota教授であり、MITコンピュータ科学・人工知能研究所（CSAIL）の主任研究員であるRuss Tedrake氏は言う。

AIエージェント、すなわち「考え」、明確に定義されたタスクを完了する半自律的なプログラムが、ロボットが必要とするリアルな仮想設定の生成に役立つことが判明した。MIT CSAILとトヨタ研究所の研究者らが開発した新しい「SceneSmith」システムは、3つのエージェントを使用して3Dシーンのオブジェクト、壁、全体的な外観を組み立てる。レストラン、寝室、ホテルなどの屋内空間の再現は、以前のシステムよりもリアルで詳細であり、ロボットが実際に電源を入れる前にスキルを練習し、タスクを実行するさまざまな方法を試すのに役立つ。これにより、エンジニアは現実世界でのテスト時間を節約できる。

各エージェントは、マルチモーダルシステムである視覚言語モデル（VLM）、具体的には最先端のVLM GPT-5.2を呼び出すため、日常的な場所がどのように見えるべきかを理解している。このモデルはインターネット上の大量のテキストと画像で訓練され、より視覚的なプロンプトを処理する。この高度なモデルは各エージェントに一種の空間知識を与える。まず、「デザイナー」エージェントがシーンの要素を生成し、次に「批評家」がそれがリアルに見えるかどうかをアドバイスし、最後に「オーケストレーター」がそれらのやり取りを管理し、デザインが完了したと判断する。3つのVLMが創造的なコラボレーションを終えると、シーンは物理シミュレーションソフトウェアに直接ロードできる状態になる。

「このシステムは、人間のデザイナーと同じように3Dシーンを構築できることがわかりました」と、MIT EECSの博士課程学生でCSAIL研究員であり、この研究を発表した論文の主著者であるNicholas Pfaff氏は言う。「私たちは、インターネット規模の事前知識を持つ最先端のVLMを使用して1300以上のシーンを作成しましたが、非常に創造的で多様な配置ができました。プロンプトでそれを教えたわけではなく、ただ即興でやったのです。」

VLMエージェントのおかげで、「車と作業台、隅に積まれたタイヤ、壁に立てかけたはしごがあるガレージを生成して」とSceneSmithに依頼し、ロボットが操作できるオブジェクトで溢れた仮想の遊び場を得ることができる。これらの部屋は、以前の方法よりもシーンあたり最大6倍多くのアイテムで装飾されており、カップをシンクに置く、皿に果物を載せる、棚からテーブルに缶を移動するなどのスキルをロボットが学習するのに最適である。

このように豊富な仮想環境があれば、現実世界での試行錯誤をあまり行わずにロボットが配備可能かどうかを評価できる。研究者らはSceneSmithのデジタル世界で異なる行動計画（「ポリシー」とも呼ばれる）をテストし、その過程で100のユニークな空間を生成した。VLMエージェントが各試行を評価し、ロボットの計画に欠陥があり、機械がしばしば作業に失敗することを発見した。人間は99％以上の確率でモデルの判定に同意し、これはロボット工学者が現実世界でロボットを動かす前にシミュレーションで欠陥のあるアプローチを排除するのに役立つ可能性がある。

しかし、これらの仮想世界は実際にどれほどリアルなのだろうか？これを直接証明するのは難しいため、研究者らは複数の角度からこの問題にアプローチした。最も説得力のあるテスト：彼らは、主に現実世界のデータで訓練され、SceneSmithのシーンを一度も見たことがない事前訓練済みのロボットポリシー（AIコントローラー）を、生成された環境に投入した。あるテストでは、ユーザーがシステムに「ボウルからリンゴを取り、まな板に置いて」と指示し、シミュレーションされたロボットはその通りに動作した。シーンがポリシーが学習した実際の設定と密接に似ていなければ、それは単に機能しなかっただろう。

チームはまた、ロボットを仮想空間内で遠隔操作し、キャビネットを開け、ボトルをしまい、部屋間を移動するように誘導した。実験により、これらの環境は持続的な物理的相互作用に耐え、視覚的検査を超えて拡張できることが明らかになった。

SceneSmithが使用するエージェントはそれぞれ、生成プロセスにおいて明確に定義された役割を持ち、段階的にシーンを具体化する。基本的に、フロアプランを作成し、それを実現する。

たとえば、家の1階に似たシーンを作成したいとする。「デザイナー」VLMが一般的なレイアウトから始め、「批評家」がレビューし、「オーケストレーター」が承認する。エージェントは各ステップでこのアプローチを繰り返す：家具を追加し、壁、次に天井にオブジェクトを配置し、最後にロボットが操作できるオブジェクトを配置する。たとえば、VLMはロボットが開閉できるキャビネット（関節オブジェクト）を追加できるが、以前のベースラインではあまり含まれていなかった。

各段階で、2番目のVLMはシーンが実用的であることを確認し、たとえばリビングルームからバスタブを削除するようアドバイスする。3番目のVLMは高品質のシーンが生成されることを保証し、ビジュアルが基準に達していない場合はデザインプロセスを数ターン戻すことさえある。3つのVLMが創造的なコラボレーションを終えると、物理世界のメカニズムがシミュレーションソフトウェアを介して追加される。

部屋の見え方、オブジェクトの配置場所、現実世界の物理学をしっかりと理解したSceneSmithは、以前の方法よりも顕著な優位性を持つ。「HSM」や「Holodeck」などのシーン生成ベースラインと比較して、SceneSmithはより多くのオブジェクトを含む環境を作成し、プライベートオフィス、陶器店、さらにはMinecraftをテーマにしたゲームルームなども含まれていた。

また、200人以上のユーザーの間でSceneSmithは最も好まれた。彼らは、システムのビジュアルが90％以上の確率でよりリアルであると感じた。また、一般的に、他のアプローチよりもプロンプトに忠実に従うことも観察された。言い換えれば、ユーザーが実際に見たいと思う仮想の遊び場を生成するのに最も優れていた。

リアリズム、多様性、豊かさはすべてSceneSmithの強みであり、個々の3Dオブジェクトを生成する場合でも同様である。転がるサービスカートを作成するようプロンプトを出すと、2D画像を生成し、それを質量、摩擦、慣性などの物理的特性を持つ詳細なモデルに変換する。

ただし、このような詳細なプロセスには速度のトレードオフが伴う。単一のシーンを生成するのに複数時間かかることがある。なぜなら、エージェントが各オブジェクトを作成し、注意深く精査するからだ。より多くの計算能力があれば、システムの効率は劇的に向上する可能性がある。CSAILのエンジニアはまた、変形可能なオブジェクト（スポンジなど）への拡張を望んでおり、そのためには広範な3Dライブラリが利用可能になる必要がある。

「SceneSmithは、単純なテキストプロンプトからシミュレーション可能な屋内環境を生成するためのエージェンティックフレームワークを提供することで、この点で重要な進歩を表しています」と、この研究には関与していないAmazon Roboticsの応用科学者Jeremy Binagia氏は言う。「シミュレーション環境内のオブジェクト密度の限界を押し上げ、すべてのオブジェクトが視覚的にリアルであるだけでなく物理的に正確であることを保証し、テキストから3Dへの生成によって固定ライブラリに制約されないアセットを作成するなど、いくつかの点で最先端を推進しています。」

Pfaff氏とTedrake氏は、Thomas Cohn氏（MIT博士課程学生、CSAIL研究員）、およびトヨタ研究所のロボット工学者Sergey Zakharov氏とRick Cory氏と共に論文を執筆した。彼らの研究は、一部、Amazon、米国海軍研究局、トヨタ研究所、米国国立科学財団によって支援された。チームは先週開催された国際機械学習会議でスポットライトとして発見を発表した。