対話エージェントの多次元評価の運用化：選択的再評価とモデルベンチマークを備えたスケーラブルで統制可能なパイプライン
本論文では、小売向け対話システムの大規模評価のための設定駆動型パイプライン「GenAI Evaluation」を提案する。正規化、シャーディング、非同期実行、スキーマ制約付きLLMスコアリングにより、有用性、真実性、明確さ、トーンの一致、翻訳の次元を評価する。選択的再評価は無効なレコードのみを処理し、スキーマロックとバージョン管理構成により監査可能性を確保。1日約5万件のレコードを処理し、200万件以上のインタラクションを評価。12,980件の人間ラベル付きデータで検証し、マクロF1 0.93、翻訳精度89%を達成。
最近、arXivに投稿された論文「Operationalising Multi-Dimensional Evaluation for Conversational Agents: A Scalable, Governed Pipeline with Selective Re-evaluation and Model Benchmarking」（ID: 2607.12085）は、小売分野における対話エージェントの評価に関する新しいパイプライン「GenAI Evaluation」を提案しています。従来の語彙重複指標（BLEU、ROUGEなど）は、対話エージェントの意図整合性、事実性、有用性、明確さ、トーン、応答品質などの多次元的な評価には不十分です。LLMを評価者として用いる手法（LLM-as-a-judge）はスケーラブルな代替手段を提供しますが、本番環境での導入には、ガバナンス、再現性、コスト、スキーマ一貫性、トレーサビリティ、信頼性といった課題が伴います。
GenAI Evaluationは、これらの課題に対応するため、設定駆動型のアプローチを採用しています。このパイプラインは、生産チャットボットのログを正規化し、シャーディングと非同期実行により効率的に処理した後、スキーマ制約付きLLMスコアリングを適用します。評価次元は、有用性、真実性、明確さ、トーンの一致、翻訳固有の項目を含みます。特に、選択的再評価メカニズムにより、不完全または形式が不正なレコードのみが再処理されるため、計算コストが削減されます。また、スキーマロック、バージョン管理された設定、検証ログ、レコードレベルの来歴情報により、監査可能性が確保されています。
実運用では、このパイプラインは1日あたり約5万件のレコードを処理し、これまでに200万件を超えるインタラクションを評価しています。有効性の検証には、12,980件の層別ランダムサンプリングによる人間ラベル付きレコードが使用され、4人の訓練されたアノテーターがラベル付けを行いました。分類体系は14の意図、156のサブ意図、18の主要ドメイン、129のサブドメインをカバーしています。実験の結果、パイプラインはマクロF1スコア0.93、翻訳品質の人間受容精度89%を達成しました。論文には、アーキテクチャ設計図や結果をまとめた表も含まれており、小売対話システムの評価における本パイプラインの有効性を示しています。