最近、arXivに投稿された論文（arXiv:2605.12651）は、知覚駆動型自律システムにおける実行時監視の課題を解決するために、埋め込み時相論理（Embedding Temporal Logic, ETL）と呼ばれる新しい手法を提案しています。従来の監視手法は、連続センサ観測を低次元状態変数上の離散論理命題にマッピングすることに依存していましたが、知覚駆動環境では、このマッピングに追加の学習モジュールが必要であり、計算コストが高く、脆弱で、意味的に不整合であることがよくありました。例えば、自動運転において「歩行者に近づく」や「障害物を避ける」といった概念は、従来のブール述語では正確に記述することが困難です。
ETLの核心的な革新は、学習された埋め込み空間で直接監視を実行することです。観測埋め込みと参照観測から導出された目標埋め込みとの間の距離を使って述語を定義し、視覚目標への類似性や意味領域の回避といった高レベルの知覚概念を捉えます。埋め込み空間は、ニューラルネットワークによって学習された低次元表現であり、入力データの重要な特徴を捉えます。観測埋め込みと参照埋め込みの距離を比較することで、ETLは明示的な状態変数の定義を必要とせず、知覚的類似性を自然に定量化できます。
研究者らは、これらの述語を時相演算子（例えば「まで」「最終的に」「常に」）と組み合わせることで、ETLが時間的に拡張された逐次的な知覚行動を自然に表現できるようにしました。例えば、「交差点に遭遇するまで、常に車線内を維持する」という仕様は、複数の知覚イベントの時間的関係を含みます。実際のシステムでETLを使用するために、研究者らは有界埋め込み軌跡上の仕様を評価するためのETL監視器を導入しました。監視器はスライディングウィンドウを使用して時系列データを処理し、仕様に違反があるかどうかをリアルタイムで判断します。
埋め込み空間の不確実性に対処するため、研究者らは共形較正手順を設計し、信頼性が高く安全指向の述語評価を提供しました。共形較正は分位数ベースの不確実性定量化手法であり、各述語評価に信頼度の境界を提供し、誤判断による安全リスクを回避します。この手法はデータ分布に対する仮定を必要とせず、幅広い状況で適用可能です。
実験では、Franka Emika Pandaロボットアームのシミュレーションおよび実環境、MuJoCoの物体押しタスクなど、複数のロボット操作環境が選択されました。これらの環境は、視覚目標への接近や意味領域の回避などの知覚行動を含みます。実験結果は、ETLがすべての環境においてグラウンドトゥルース（人間が正しいとラベル付けした行動）と高い一致を示し、精度は95%を超えました。特に、時間的に合成された行動（例えば「まず赤いブロックをつかみ、次にそれを青いバスケットに置く」）の監視において優れた性能を発揮しました。
さらに、研究者らはETLとLTL（線形時相論理）ベースの従来監視手法を比較しました。後者は画像を論理命題にマッピングする追加の知覚モジュールを必要とするのに対し、ETLは埋め込み空間を直接利用するため、計算オーバーヘッドと手動調整の必要性が低減されました。速度比較では、ETL監視器の推論時間は従来手法の10分の1であり、オンライン監視が可能になりました。
この研究は、知覚ベースの自律システムのオンライン監視に新たな視点を提供し、自動運転、ロボット操作、産業オートメーションなどの分野での応用が期待されます。論文の著者はParv Kapoorら5名であり、関連コードとデータセットはGitHubで公開されており、他の研究者が再現や拡張を行いやすくなっています。今後の課題としては、より複雑なシナリオ（例えばマルチエージェント協調知覚）への対応や、ETLを安全重視システムの形式検証パイプラインに統合することが挙げられます。