AI代理創建虛擬遊樂場，幫助機器人獲取關鍵訓練數據

機器人走上街頭，被驚訝的圍觀者包圍，這越來越常見。但這些機器還遠不是那種能在廚房或工廠裏做各種事情的萬能助手，其中一個主要瓶頸是數據。與人類相似，機器人通過經驗學習最佳。問題在於，物理教授這些機器在不同環境中的許多動作既費力又耗時。

“一個自然的想法是使用模擬作為訓練場。雖然過去幾年中，驅動機器人模擬器的物理引擎取得了顯著進展，但剩餘的挑戰之一是創建足夠豐富和多樣化的模擬內容，以捕捉現實世界的複雜性，”麻省理工學院電氣工程與計算機科學、航空航天和機械工程教授、計算機科學與人工智能實驗室（CSAIL）首席研究員Russ Tedrake説。

AI代理，即“思考”並完成明確任務的半自主程序，可以幫助產生機器人所需的逼真虛擬環境。麻省理工學院CSAIL和豐田研究所的研究人員開發的新系統“SceneSmith”使用三個代理來拼接3D場景的物體、牆壁和整體外觀。其對室內空間（如餐廳、卧室和酒店）的重建比以前的系統更逼真和詳細，幫助機器人練習技能並嘗試不同的任務執行方式，然後再通電。反過來，工程師節省了實際測試的時間。

這些代理之所以理解日常場所的外觀，是因為每個代理都調用了一個稱為視覺語言模型（VLM）的多模態系統，特別是最先進的VLM GPT-5.2。它基於互聯網上的大量文本和圖像進行訓練，以處理更多的視覺提示。這個先進的模型給了每個代理一種空間知識：首先，“設計者”代理生成場景的元素，然後“評論家”建議是否看起來逼真，最後，“指揮者”管理它們之間的來回，決定何時設計完成。一旦三個VLM完成創意協作，場景就可以直接加載到物理模擬軟件中。

“我們發現該系統可以像人類設計師一樣構建3D場景，”麻省理工學院EECS博士生、CSAIL研究員、論文第一作者Nicholas Pfaff説。“我們使用具有互聯網規模先驗的領先VLM製作了超過1300個場景，它做出了極其創意和多樣的安排。我沒有在提示中教系統這樣做；它只是即興發揮。”

得益於VLM代理，你可以請SceneSmith做一些事情，比如“生成一個帶汽車、工作台、堆在角落的輪胎和靠牆梯子的車庫”，並得到一個充滿物體、機器人可以擺弄的虛擬遊樂場。這些房間每場景裝飾的物品數量多達先前方法的六倍，非常適合幫助機器人學習將杯子放入水槽、將水果放在盤子上、將易拉罐從架子移到桌子上等技能。

有了這麼多豐富的虛擬環境，你可以在沒有大量真實世界嘗試和錯誤的情況下評估機器人是否準備就緒。研究人員在SceneSmith的數字世界中測試了不同的行動計劃（也稱為“策略”），生成了100個獨特的空間。一個VLM代理評估每次嘗試，發現機器人的計劃有缺陷，機器經常在任務中失敗。人類在超過99%的時間內同意模型的判斷，這可以幫助機器人學家在機器人現實世界移動之前，在模擬中淘汰有缺陷的方法。

但這些虛擬世界到底有多逼真？這很難直接證明，因此研究人員從多個角度探討了這個問題。最有説服力的測試：他們將一個預訓練的機器人策略——一個主要基於真實世界數據訓練、從未見過SceneSmith場景的AI控制器——放入生成的環境中。在一個測試中，用户告訴系統“從碗裏拿蘋果放到切菜板上”，模擬機器人照做了。如果場景與策略學習過的真實設置不相似，它根本就不會工作。

團隊還通過遠程操作引導機器人穿過虛擬空間，指導它們打開櫃子、收起瓶子並在房間之間導航。他們的實驗表明，這些環境在持續的物理交互下保持穩定，超越了視覺檢查。

SceneSmith使用的每個代理在生成過程中都有明確的角色，分階段充實場景。它們基本上創建了一個平面圖並將其變為現實。

假設你想創建一個類似房子一樓場景。“設計者”VLM從一個通用佈局開始，“評論家”審查，“指揮者”簽字。代理對每個步驟重複此方法：添加傢俱，在牆壁然後天花板上放置物體，最後放入機器人可操作的物體。例如，VLM可以添加機器人可以打開和關閉的櫃子——一個鉸接物品，以前的基線不常包含。

在每個階段，第二個VLM確保場景實用，例如建議移除客廳中的浴缸。第三個VLM確保生成高質量的場景，如果視覺效果不達標，甚至將設計過程倒退幾步。一旦三個VLM完成創意協作，物理世界的機制通過模擬軟件添加。

憑藉對房間外觀、物體放置位置和現實世界物理的深刻理解，SceneSmith相比先前方法具有明顯優勢。與“HSM”和“Holodeck”等場景生成基線相比，SceneSmith創建了包含更多物體的環境，包括私人辦公室、陶器店，甚至一個Minecraft主題的遊戲室。

SceneSmith在200多名用户中也是最受歡迎的。他們發現系統的視覺效果在超過90%的時間內更逼真。他們還觀察到，一般來説，它比其他方法更嚴格地遵循提示。換句話説，它是最能生成用户真正想看到的虛擬遊樂場的系統。

逼真性、多樣性和豐富性都是SceneSmith的強項，即使在生成單個3D物體時也是如此。你可以提示它創建一個滾動服務車，它會生成一個2D圖像，然後將其轉化為具有質量、摩擦力和慣性等物理屬性的詳細模型。

然而，如此詳細的過程確實帶來了速度上的權衡。生成單個場景可能需要多個小時，因為代理創建並密切檢查每個物體。如果有更多的計算能力，該系統的效率可能會有顯著提高。CSAIL工程師還希望擴展到可變形物體（如海綿），只要有廣泛的3D庫可用。

“SceneSmith在這方面代表了重大進步，它提供了一個基於代理的框架，僅通過簡單的文本提示即可生成可用於模擬的室內環境，”亞馬遜機器人公司的應用科學家Jeremy Binagia（未參與此項研究）説。“它在多個方面推進了現有技術，包括推動了模擬環境中物體密度的極限，確保所有物體在物理上精確（而不僅僅是視覺上逼真），並創建不限於固定庫的資產，因為它們可以通過文本到3D生成。”

Pfaff和Tedrake與Thomas Cohn（麻省理工學院博士生、CSAIL研究員）以及豐田研究所機器人專家Sergey Zakharov和Rick Cory合作撰寫了論文。他們的工作部分得到了亞馬遜、美國海軍研究辦公室、豐田研究所和美國國家科學基金會的支持。該團隊在上週的國際機器學習會議上作為亮點展示了他們的發現。