事前学習された視覚-言語-行動（VLA）ポリシーは、ゼロショット汎化において有望な性能を示す一方、展開時の分布シフト下ではロバスト性が低下し、指示追従に一貫性を欠くことがよくあります。従来の研究では、この問題に対処するために分布内データでのファインチューニングが一般的でしたが、そのためには対象環境で収集されたタスクのデモンストレーションが必要であり、実用的ではない場合が多々ありました。
この課題に対して、複数の研究機関からなるチームはDREAMSTEERを提案しました。これは、ファインチューニングやパラメータ変更を一切行わずに、事前学習済みVLAポリシーを展開時に導くためのフレームワークです。DREAMSTEERの核となるアイデアは、潜在世界モデルと価値モデルを活用してポリシーの意思決定を支援することです。展開時には、まずVLAポリシーと事前定義された動作プリミティブから複数の候補アクションチャンクをサンプリングし、次にアクション条件付き潜在世界モデルを用いてそれらのアクションを実行した結果を想像し、最後に言語条件付き価値モデルで想像された軌道を評価・ランク付けすることで、最適なアクションを選択します。
実験では、未観測の物体を含む4つの実世界操作ベンチマークにおいて、DREAMSTEERが基本VLAポリシーと比較してタスク成功率を23.75%から66.25%に、指示追従精度を38.75%から56.25%に向上させることが示されました。これらの結果は、ファインチューニングを必要とせずにVLAポリシーの展開時性能を大幅に改善できることを実証しています。
DREAMSTEERの潜在世界モデルと価値モデルは、事前にオフラインデータセットで訓練されているため、展開時に追加のデータ収集やモデル更新は不要です。これにより、DREAMSTEERは低コストで効果的なソリューションとして、ロボット操作や人間とロボットのインタラクションなど、正確な指示追従が求められる分野での応用が期待されます。