視覚-言語-行動（VLA）モデルはロボットタスクにおいて顕著な汎化能力を示しますが、特に空間的、時間的、論理的な制約を含む複雑な自然言語指示を処理する際に、解釈可能性に欠け、正確な実行が難しいという問題があります。この問題に対処するため、複数の研究機関によるチームはSTePフレームワークを提案しました。このフレームワークは、信号時相論理（STL）を高レベルの言語理解と低レベルのロボット実行を結ぶ共有表現として革新的に利用し、より正確で信頼性の高いロボット行動生成を実現します。
STePフレームワークの核心は階層的アーキテクチャです。高レベルポリシーは視覚言語モデル（VLM）を活用してユーザーの自然言語指示をいくつかの高レベルサブタスクに分解し、各サブタスクに対応するSTL仕様を生成します。STLは時相論理と論理制約を正確に記述する形式言語であり、「10秒以内に目標点に到達する」や「最初に物体Aを掴み、次にBに置く」といった指示を形式化できます。これらの仕様は言語から抽出された意図をロボットが実行可能な形式的制約に変換します。その後、高レベルポリシーは各サブタスクの特性に応じて適切な低レベルポリシーを選択します。
低レベルポリシーには二つの実行モードがあります。制約が明確で精密な制御が必要なサブタスクには、STL誘導のモデル予測制御（MPC）を用いて直接制約を強制します。一方、知覚が複雑な行動や接触を伴う行動には学習ベースのポリシーを用い、その際STL仕様は実行中の監視に使用され、重要な制約違反が発生しないようにします。この柔軟な設計により、STePはさまざまな性質のサブタスクに適応できます。
STLは計画と実行の全プロセスに統合されています。計画検証段階では、STL仕様を用いて生成されたサブタスク列が全体の指示の制約を満たすかチェックします。実行中は、システムが実際の軌跡を継続的にSTL監視し、逸脱が検出されると即座に再計画をトリガーします。この閉ループ機構により、言語由来の計画は実行時に動的にチェック、最適化、修正されます。
研究者らは実世界の卓上環境でSTePを評価しました。実験では物体の把持、配置、積み重ねなどの典型的なタスクが行われ、指示には空間関係（例：「左側」）、時系列順序（例：「最初に…次に…」）、論理条件（例：「もし…ならば…」）が含まれていました。結果は、従来手法と比較してSTePがタスク成功率、実行精度、複雑な指示への追従能力を大幅に向上させることを示しました。また、STLが提供する解釈可能性により、研究者はロボットの行動の背後にある論理を明確に理解できるようになりました。
この研究は、形式仕様記述が言語条件付きロボット計画において重要な価値を持つことを示しています。今後、STePフレームワークはより複雑な環境やタスクに拡張され、他の形式手法と組み合わせることで、ロボットシステムの信頼性と透明性をさらに向上させることが期待されます。関連論文はarXivに提出されており、コードとデータも順次公開される予定です。