オンラインvsオフラインAI評価：それぞれの使い分け

AIエージェントは非決定的な性質を持つため、同じ入力でも異なる出力を生成し、時には悪影響を及ぼす可能性があります。評価はAIシステムのパフォーマンスを監視・測定するために不可欠ですが、エージェントをいつ、どのようにテストし、スコアリングするべきでしょうか？本記事では、オフライン評価とオンライン評価の2つのパターンを紹介し、それぞれの利点と欠点、適用シナリオを詳しく分析します。

簡単に言えば、オフライン評価はデプロイ前に固定データセットに対してスコアリングを行い、AIの単体テストに相当します。オンライン評価は本番環境での各インタラクションをリアルタイムでスコアリングします。多くのチームは両方を併用しており、オフラインでリグレッションを検出し、オンラインで実際のパフォーマンスを測定します。オフラインはデプロイ前のゲートとして機能し、オンラインは実際のユーザー行動を観察します。

優れた評価システムは、データセット、分割テスト、スコアリングの3つの要素から構成されます。データセットはリアルタイムデータストリームまたは静的ファイルです。分割実験では、異なるモデルやプロンプトを同時にテストできます。スコアリング関数は、LLM-as-Judge（第2のLLMを使用）、アルゴリズム（トークンコストや速度など）、またはシグナルベース（ユーザーフィードバックやシステムイベント）を使用します。スコアリングルーブリックの定義が評価システムの最も重要な部分であり、複数の次元を捉えてエージェントの全体像を把握する必要があります。

オフライン評価は静的「ゴールデン」データセットを使用し、CIで実行して変更がリグレッションを引き起こさないことを確認します。例えば、既知の入力に対してローカルまたはCIパイプラインで静的評価を実行できます。しかし、その範囲は限定的です。静的データセットの少数の例は、本番環境での実際の分布を代表しておらず、事前に考慮しなかったケースを見逃しがちです。さらに、データセットのメンテナンスには継続的な労力が必要です。誰かがゴールデンデータセットを構築し、代表性を維持し、製品が変更されるたびに再キュレーションしなければなりません。メンテナンスを怠るとデータセットは古くなり、グリーンスイートがエージェントが数ヶ月示していない振る舞いを認定するようになります。オフライン評価はまた、事前に選択した入力に対して一度だけ実行されるため、含めたケースについてのみ情報を提供し、含めなかったケースについては何も教えてくれません。

オンライン評価は異なるアプローチを取ります。本番環境でエージェントの各インタラクションをリアルタイムでスコアリングします。これには2つの大きな利点があります。第一に、合成テストではなく実際のデータでスコアリングする点。第二に、スコアの量が多く、より正確なシグナルが得られる点です。Inngestプラットフォームでは、オンライン評価には構造的な利点があります。Inngestはエージェントを耐久性を持って実行・オーケストレーションしており、すべてのステップ、リトライ、結果が実行時に永続化されます。そのため、評価に必要なデータはすでに存在しており、スコアリングはプラットフォームがすでに保持している実行を読み取るだけで、別のシステムを立ち上げる必要はありません。さらに、ライブデータに対して分割実験を実行できます。例えば、GPTとClaudeを同時にテストし、一方のモデルが優れていることが判明すれば、トラフィックを勝者にルーティングするのは簡単です。

以下の表に、2つの評価の主な違いをまとめます。データソース：オフラインは固定のゴールデンデータセット、オンラインはライブの本番トラフィック。実行タイミング：オフラインはデプロイ前またはCI、オンラインは継続的。シグナル：オフラインは狭いが制御可能、オンラインは高ボリュームで現実的。ユーザーが目にする前にリグレッションをキャッチするか：オフラインはYes、オンラインはNo。実際の結果シグナル（ユーザーが受け入れたか、PRがマージされたか）：オフラインはNo、オンラインはYes（遅延スコアリングを含む）。メンテナンス：オフラインは手動でデータセットを更新、オンラインは低パフォーマンスのバリアントが自動的に廃止される。

要するに、オフライン評価はデプロイ前のセーフティネットであり、オンライン評価は実際のパフォーマンスの尺度です。両者を組み合わせることで、AIパフォーマンスの全体像を把握し、迅速なイテレーションと品質確保を両立できます。