Similarwebはデジタル世界を測定する企業であり、Data Studioというエージェントシステムを開発しました。ユーザーが自然言語で質問すると、エージェントが計画を立て、適切なデータツールを呼び出し、結果を返します。このシステムの更新の質を確保するため、Similarwebは2つの評価方法を採用しています：決定論的チェックとLLM-as-judgeです。決定論的チェックでは、エージェントが適切なツールを呼び出したかなどを確認します。LLM-as-judgeでは、出力の品質を評価します。
簡単なチャットの場合は、黄金の回答と比較するセマンティック評価で十分です。しかし、ディープリサーチのような長文レポートでは、ルーブリックを使用します。各品質次元（例：情報源の統合）に対して、明確なスコア基準を設定し、LLMがスコアとコメントを返します。また、忠実性チェックを実行し、各主張がデータに基づいているかを確認します。
LangSmithプラットフォームを使用することで、評価スコアをトレースやベースライン比較と結びつけることができます。各実行は固定データセットで行われ、スコアは実験の列として表示され、クリックすると評価の理由やエージェントの動作を確認できます。
Similarwebは、ルーブリックが適切に調整されていないと、良い変更が後退に見える可能性があることを発見しました。例えば、情報源の統合スコアが単に外部ソースを引用することを評価していたため、質の低いソースでも高いスコアが出てしまいました。ルーブリックを調整し、具体的で検証可能なソースを優先することで、スコアが実際の品質と一致するようになりました。
最終的に、評価は単なるスコアボードではなく、エンジニアリングのワークフローであると結論づけています。出力の種類に応じた評価方法を選択し、ルーブリックを適切に調整することが重要です。