医療検査室の自動化では、ロボットがプロトコルに従ってワークフロー全体を順序通りに完了し、実行中の変化に対応する必要がある。しかし、ロボットが各動作を正しく実行しても、視覚的に類似した段階を混同したり、人手介入後に停止したりして、ワークフロー全体が失敗する可能性がある。この問題に対処するため、Zequan Zengらは、明示的なワークフロー監視と学習ベースの行動生成を組み合わせたデュアルシステムフレームワークであるRobo-MLTを提案した。
Robo-MLTの中心設計は、協調して動作する2つのシステムで構成される。第一のシステムは視覚言語プランナであり、実験プロトコルと初期ワークスペースの観察から、順序付けられた原子スキルシーケンスを生成する。このプランナは複雑な検査室ワークフローを管理可能な原子スキルに分解し、後続の実行に明確なステップ指示を提供する。第二のシステムは多フレーム実行モニタであり、現在アクティブなスキルが完了したか、または実行不能になったかを継続的に検出する。スキルの完了を検出すると、モニタはワークフローを次のスキルに進め、実行不能を検出すると再計画をトリガーする。この明示的な監視メカニズムにより、システムは実行中の偏差を timely に発見して修正できる。
行動生成の面では、Robo-MLTはスキル条件付きの視覚言語行動(VLA)ポリシーを採用して具体的な操作軌道を生成する。このポリシーは現在のスキルの条件に基づいて対応するロボットアームの動きを生成し、非同期ランタイムがポリシーとモニタ間の作業を調整する。この非同期アーキテクチャにより、モニタは行動生成から独立して継続的な評価を行えるため、リアルタイム性を確保しながらワークフローの閉ループ制御を実現する。
Robo-MLTの有効性を検証するため、研究者らは血液ガス分析と採血管仕分けという2つの代表的な医療検査室タスクで評価を行った。実験では、50の名目構成と20のサンプル除去構成を設定し、4つのポリシーベースラインおよび視覚言語モデル(VLM)ベースのモニタベースラインと比較した。名目構成では、Robo-MLTは血液ガス分析と採血管仕分けタスクでそれぞれ82%と70%の成功率を達成し、π0.5ベースラインをそれぞれ30および22パーセントポイント上回った。この結果は、明示的なワークフロー監視が長期的な検査室操作の信頼性を大幅に向上させることを示している。
さらに注目すべきは、動的環境におけるシステムの回復能力である。サンプル除去構成では、オペレータが処理中のサンプルを取り除いた後、Robo-MLTは現在のスキルが実行不能であることを検出し、残りの計画を自動的に修正して他のサンプルの処理を継続できる。この能力は、人手介入や予期せぬ事態が頻繁に発生する実際の検査室環境にとって極めて重要である。VLAポリシーのみに依存するベースラインと比較して、Robo-MLTの監視メカニズムは追加の堅牢性レイヤーを提供する。
本研究は、評価条件下で明示的なワークフロー監視が長期的な検査室操作をより信頼性が高く回復可能なものにすることを指摘している。Robo-MLTの貢献は、高レベルのワークフロー監視と低レベルの行動生成を分離し、非同期ランタイムを介して調整することで、行動生成の柔軟性を維持しながら、システムのプロセス状態に対する認識と応答能力を強化した点にある。このフレームワークは、多段階で長时序のタスクや中断が発生し得るシナリオにおいて、医療検査室自動化の有望なソリューションを提供する。今後の研究では、他の検査室ワークフローへの汎化能力や、大量の訓練データへの依存を軽減する方法が探求される可能性がある。