金融AIエージェントの評価構築から得た教訓

本稿では、3年間にわたって金融AIエージェントの内部評価を構築してきた著者が、絶対評価が品質閾値を超えると機能しなくなり、相対評価がより効果的であることを示す。主要な洞察として、最強のフロンティアモデルを審査員として使用し、生データへのアクセス権を与えること、エージェントと審査員の両方のばらつきを考慮すること、そして結果とともにエージェントの推論経路を評価することが挙げられる。また、既存の金融ベンチマークを批判し、内部の「調整後キャッシュフロー」評価を紹介する。