最近、arXivに掲載された論文でCHI-Bench（χ-Bench）が提案された。これは、AIエージェントがエンドツーエンドで長期間にわたるポリシー重視の医療ワークフローを自動化できるかを評価するベンチマークである。このベンチマークは、既存の評価であまり重視されてこなかった3つの能力に焦点を当てている。第一にポリシー密度：エージェントの意思決定は、医療、保険、運用に関する大規模なルールライブラリに基づく必要がある。第二にマルチロール構成：単一のタスクでエージェントは複数の役割を演じ、引き継ぎを行う必要がある。第三に多国間相互作用：ワークフローの中間ステップには、ピアレビューや患者への働きかけなど、多ターンの対話が含まれる。
CHI-Benchは、プロバイダ事前承認、保険者利用管理、ケアマネジメントの3つの医療運営領域をカバーしている。各タスクでは、20の医療アプリを含む高忠実度シミュレータ内で臨床ケースがエージェントに与えられ、87のMCPツールを介して機能が公開される。エージェントは1,290以上の文書からなるマネージドケア運用手順書スキルに導かれながら、ツール呼び出しと役割の成果物の作成を通じて、ケースを終状態まで進める必要がある。
研究チームは30のエージェントハーネスとモデルの構成をテストした。その結果、最高のエージェントでもタスクの28.0%しか解決できず、厳密なpass^3基準（3回連続成功）では20%を超えるエージェントは存在しなかった。さらに、すべてのタスクを単一のセッションで連続実行すると、パフォーマンスは3.8%に急落し、コンテキスト管理と長期計画が依然として大きなボトルネックであることが示された。
著者らは、これらの結果が、他のポリシー密度が高く、役割が組み合わされ、不可逆なエンタープライズ領域でも同様のギャップが生じる可能性を示唆していると指摘している。CHI-Benchの公開は、複雑な現実世界のワークフローにおけるAIエージェントの能力を評価し向上させるための重要な基盤を提供する。この論文はHaolin Chenら33名の著者によって執筆され、2026年5月15日に投稿された。ウェブサイト、コード、データセットはすべて公開されている。