グラフィカルユーザーインターフェース(GUI)エージェントは、ユーザーの自然言語指示を理解し、画面上で操作を実行する技術として急速に普及しています。しかし、ユーザーが誤解や不注意によって実行不可能な指示を出すことは珍しくありません。信頼できるエージェントは「どのように行動すべきか」だけでなく、「いつ行動すべきでないか」を判断できなければなりません。本論文では、この問題を「矛盾認識型終了(conflict-aware termination)」と定義し、新たな研究枠組みを提示しています。
研究チームはまず、CONFLICTGUIと呼ばれるベンチマークを構築しました。これは、指示そのものの中に論理的な矛盾が含まれる場合と、指示が現在のGUIの状態や要素と矛盾する場合の2種類をカバーします。これにより、エージェントが不適切な指示を見抜いて実行を停止できるかどうかを体系的に評価できます。
複数の既存GUIエージェントを評価した結果、顕著な傾向が明らかになりました。通常のタスクで高い性能を示すエージェントほど、矛盾する指示に直面した際もそのまま実行を続けてしまう「実行バイアス型の過剰同調(execution-biased overcompliance)」が見られました。このような盲目的な実行は、自動化された環境で深刻な誤動作を引き起こす可能性があります。
この問題を解決するため、著者らはCONFLICTGUARDを提案しています。これは推論段階で動作する軽量なフレームワークで、2つの密接に関係した要素から構成されます。1つは、エージェントが行動を起こす前に指示の論理とGUI側の根拠を検証する「可能性検証プロトコル」です。もう1つは、過剰に実行しようとする動作を、停止や拒否といった終了指向の動作へ導く「条件付き行動調整メカニズム」です。これらを併用することで、エージェントの実行能力と実現可能性の認識を一致させます。
実験では、広く使われている5種類のGUIエージェントに対してCONFLICTGUARDを適用しました。その結果、矛盾を含むタスクの平均成功率は大幅に向上し、一方で通常のGUIタスクの性能はほぼ維持されました。この成果は、大規模な再学習なしでも、推理時(inference-time)の調整だけでGUIエージェントの判断能力を大きく高められることを示しています。AIエージェントの安全な実運用には、単なる実行能力だけでなく、行動を差し控える知恵が不可欠であるという重要な示唆を与える研究です。