AIエージェント評価をマスターするためのロードマップ

要点

• AIエージェントの評価はLLM評価と異なり、推論層とアクション層それぞれの失敗を考慮する必要がある。
• アクション層には決定論的コードチェック、推論と出力品質にはモデルベースの判定（LLM-as-a-Judge）を使用する。
• 非決定論に対処するためにpass@kやpass^kなどの指標を用いる。
• 開発時の評価と本番監視、ユーザーフィードバック、手動レビューを組み合わせて完全な評価システムを構築する。