LLM評価フレームワーク比較：モデルのパフォーマンスを実際に測定する方法

2026年現在、LLMアプリケーションは主流となっていますが、その出力品質の評価は依然として課題です。従来のソフトウェアバグはスタックトレースを生成しますが、LLMのエラーは自信に満ちてもっともらしい間違いを出力するため、手動チェックでは見逃されやすいものです。この問題に対処するため、3つのオープンソースツールが普及しています：RAGAS、DeepEval、Promptfoo。それぞれ異なる問題領域向けに設計されており、直接競合するものではありません。

RAGASは研究指向で、学術レベルの手法に基づいた指標を提供し、特に検索拡張生成（RAG）シナリオに適しています。忠実度、コンテキスト精度、再現率などの指標があり、生成されたコンテンツが検索されたコンテキストに忠実かどうかを判断します。DeepEvalはPythonネイティブでpytestと統合されており、CI/CDパイプライン内で品質ゲートとして機能します。幻覚、バイアス、毒性検出など14以上の指標をサポートします。PromptfooはCLIとYAML構成を採用し、複数モデルのプロンプト比較や敵対的レッドチーミングに優れ、500以上の攻撃ベクトルを内蔵しています。

評価指標の観点では、忠実度（各主張がコンテキストに基づいているか）がRAG幻覚を捉える核心です。コンテキスト精度と再現率は検索された文書の適切性を評価します。回答関連性は応答が質問に直接答えているかを判断します。G-Evalはチェーン・オブ・ソートとフォーム入力を組み合わせてLLM評価者を明示的なルーブリックで導き、人間の好みにより近いスコアを提供します。各フレームワークの指標実装は大きく変わりませんが、ワークフロー統合の方法に違いがあります。

コードデモでは忠実度チェックの仕組みを示しています。回答を原子的な主張に分解し、各主張をコンテキストと照合して支持されているかを確認します。例えば、コンテキストが「アブジャは1991年にナイジェリアの首都となった」と述べているのに対し、回答がさらに「人口は300万人を超える」と追加した場合、コンテキストに人口データがなければ非支持と判定され、忠実度スコアが低下します。このデモではキーワード重複を使用していますが、実際のRAGASライブラリではLLMを使用してより正確な分解と検証を行います。

もう一つのデモはDeepEvalのCIゲート評価を示しています。評価をpytestテストとして実行することで、品質低下がビルド失敗を引き起こし、手動レポートの確認を不要にします。これは開発プロセス内で継続的にLLM出力品質を監視するために重要です。

最後に、記事はLLM-as-a-judgeのバイアス問題を強調しています。位置バイアス（評価者が特定の位置の選択肢を好む）、自己嗜好バイアス（LLMが自身の出力を好む）、冗長バイアス（長い回答が高評価を得る）などがあり、これらは監査ツールで検出し、本番環境で緩和する必要があります。成熟したGenAI QAプログラムでは通常、2つのフレームワークを並行して使用します：1つは悪いデプロイをブロックするため、もう1つは継続的な監視と人間レビューのためです。