部分証拠ベンチマーク：エージェントシステムにおける認可制限証拠のベンチマーキング

エンタープライズAIエージェントは、スコープ付き検索システム、委任ワークフロー、ポリシー制約付き証拠環境内でますます運用されるようになっている。これらの設定では、アクセス制御が正しく実施されていても、システムは呼び出し元の認可境界外に重要な証拠があるにもかかわらず、完全な回答を生成することがある。この失敗モードを測定するために、Krti Tallamは「Partial Evidence Bench」という決定論的ベンチマークを提案する。このベンチマークは、デューデリジェンス、コンプライアンス監査、セキュリティインシデント対応の3つのシナリオファミリーを備え、合計72のタスクを含む。各タスクには、ACL分割コーパス、完全回答のOracle、認可ビュー回答のOracle、完全性判断のOracle、構造化ギャップレポートのOracleが用意されており、テストの決定論性と再現性を確保している。ベンチマークは、回答の正確性、完全性認識、ギャップレポートの品質、危険な完全性行動の4つの側面でシステムを評価する。実験結果は、サイレントフィルタリングが全シナリオで壊滅的に不安全であることを示す一方、明示的なフェイルアンドレポート行動は、タスクを単純な棄権に陥らせることなく、不安全な完全性を排除する。予備的な実モデル実行では、システムが完全性を過大評価するか、保守的に過小評価するか、エンタープライズ利用可能な形で不完全性を報告するかについて、モデル依存およびシナリオ依存の違いが観察された。このベンチマークの主な貢献は、人間の評価者や汚染されやすい静的コーパスなしで、ガバナンス上重要なエージェントの失敗を測定可能にすることである。さらに、ベンチマークの設計により、新しいシナリオやタスクを容易に拡張でき、将来的にはより多様な認可制限証拠問題をカバーすることが可能である。これにより、Partial Evidence BenchはAIガバナンスの分野で実用的かつ拡張可能な評価フレームワークとなる。