視覚言語行動（VLA）モデルは、幅広い世界知識と強力な汎化能力を活用することで、具現化操作の分野を大きく前進させてきました。しかし、現在のVLAモデルにはまだいくつかの重要な課題があります。推論能力の限界、実行ステータスの監視不足、そして自己修正の難しさです。これらの課題に対処するため、研究チームはSentinel-VLAを提案しました。これは、アクティブな「センチネル」モジュールを備えたメタ認知VLAモデルです。
センチネルモジュールは、ロボットの実行ステータスをリアルタイムで監視し、必要な場合にのみ動的推論をトリガーしたり、エラー回復策を策定したりします。例えば、初期計画時には推論を起動して動作シーケンスを生成し、実行中にエラーを検出した場合にはモデルを呼び出してエラー分析と回復を行います。このオンデマンド推論メカニズムにより、ほとんどの時間はモデルが休止状態となり、計算オーバーヘッドを最小限に抑えつつ、ロバストな意思決定を実現します。
トレーニングデータの生成も大きな特徴です。研究チームは、全自動のデータ生成・アノテーションパイプラインを設計しました。このパイプラインは、44の異なる操作タスクをカバーし、260万以上の状態遷移を含むデータセットを自動的に構築します。データは多様な物体、シナリオ、操作要件を網羅しています。
継続学習における破滅的忘却を防ぐため、自己進化的継続学習（SECL）アルゴリズムが提案されました。SECLにより、Sentinel-VLAは自身の能力の限界を認識し、新しいデータを自動的に収集してスキルを拡張できます。また、直交継続アダプター（OC-Adapter）はパラメータ更新を直交部分空間に制限することで、新しいタスクの学習が古い知識を上書きするのを防ぎます。
実世界のロボット操作実験では、Sentinel-VLAは最先端モデルPI0と比較してタスク成功率を30%以上向上させました。これは、精密操作、多段階タスク、エラー回復が必要なシナリオなど、さまざまな複雑なタスクで検証されました。研究チームは、すべてのコード、モデル重み、データ生成パイプラインをオープンソース化する予定であり、この分野のさらなる研究と応用を促進することが期待されます。