τ-knowledge: 実世界の知識におけるエージェントのベンチマーク

既存のベンチマークは、複雑で変化する知識ベースをエージェントがナビゲートする複雑さを捉えられていません。τ-knowledgeは、698のドキュメントを含むフィンテック風のカスタマーサポート環境で、検索、推論、マルチステップツール実行を評価することでこのギャップを埋めます。最新の結果では、GPT-5.5がタスクの37.4%しか合格せず、大きな改善の余地があることが示されています。