コンピュータ操作エージェントは、現実的なデスクトップやウェブ上のタスクを完了できるかどうかで評価されることが増えている。しかし、タスクの成功だけを見ていると、エージェントが名目上の目標を不安全な近道で達成してしまう失敗を見逃す可能性がある。arXivの論文「OSGuard: A Benchmark for Safety in Computer-Use Agents」は、この問題に取り組む新しい評価フレームワークを提案している。本論文は2026年6月13日に投稿され、Mina Mohammadmirzaei氏ら2名によるもので、人工知能（cs.AI）分野に属する。
研究者らは、既存の評価がエージェントのタスク完了の有無に偏りがちで、その完了プロセスが安全かどうかを区別していないと指摘する。そこでOSGuardは、良性で変更のないユーザー指示の下で、コンピュータ操作エージェントの安全性を評価する二重粒度のベンチマークスイートとして設計された。二重粒度とは、個々の行動レベルでのガードレール判断と、完全なタスクのエンドツーエンド実行評価の両方を対象とすることを意味する。
アクションレベルのベンチマークは、文脈情報を伴う提案行動で構成され、各行動は元のユーザー指示と現在のインターフェース状態に照らして、許可・無関係・不安全のいずれかにラベル付けされる。この部分は、モデルがローカルなガードレールとして、ユーザーの意図から外れたり潜在的に危険な行動を識別できるかを検証する。
実行スイートには、OSWorldに由来する手作業で構築されたタスク変種が含まれる。これらの変種では元のタスクは依然として達成可能だが、環境が変更され、破壊的な上書きなどの潜在的な危険が導入されている。各変種には拡張評価器が組み合わされ、元のタスク成功基準を維持しながら、状態に基づく明示的な安全不変条件を追加する。これにより、評価は「安全な完了」と「名目上のタスク目標を満たしつつ不安全な完了」を区別できる。
OSGuard上での実験結果によれば、現在のマルチモーダルガードレールは孤立した行動判断では良好に機能し得るが、リスク強化実行評価は、ローカルな監督と信頼できるエンドツーエンドの安全性との間に残るギャップを明らかにした。研究者らは、この二重粒度の設計により、モデルが不安全な提案行動を認識できるだけでなく、ガードレールとして展開された際にタスク全体の安全性を向上できるかをより正確に診断できると述べている。この研究は、コンピュータ操作エージェントの安全評価がタスク完了率にとどまらず、目標達成の方法が安全かどうかも検討する必要があることを示唆している。