大規模言語モデル(LLM)は自動評価者、いわゆる「LLM審査モデル」として利用される機会が増えている。特に、ユーザーが好む文章スタイル(例:「明るい」)が既知であるパーソナライズ執筆の場面では、生成テキストがその好みに沿っているかを判断する必要がある。しかし、そうした審査モデル自体がどれほど信頼できるかは、十分に検証されていない。Appleと南カリフォルニア大学、コペンハーゲン大学などの研究者は、NeurIPS 2026の「Can We Trust AI Evaluation?」ワークショップで、パーソナライズされた文章スタイル評価におけるLLM審査モデルの性能を検討した論文を発表した。
研究チームは実験を設計し、4つのLLMを使って3種類の長文執筆課題のテキストを生成した。その後、ペアになった応答のどちらが良いかを人間が注釈付けし、同時にLLM審査モデルによるペア比較の注釈も収集して、人間とLLMの評価を比較した。検討した要因は多岐にわたる。執筆課題の種類、生成モデルと審査モデルの組み合わせ、評価目的(一般的な有用性かスタイルのパーソナライズか)、そして審査モデル自身の常識や推論能力である。
主要な発見の一つは、審査品質と汎用LLM能力の相関が弱いことだ。MMLUで測った汎用能力と審査性能のピアソン相関係数は0.2以下であり、汎用ベンチマークで強いモデルがパーソナライズ執筆の審査に優れるとは限らないことを示す。また、審査性能は執筆課題と評価基準によって変動する。一般的な有用性の評価とスタイルのパーソナライズ評価ではモデルに求められるものが異なり、性能にも差が生じうる。
さらに、LLM評価者にペア比較をさせると、個々の応答を独立に採点させるよりも一貫性が高く、性能も向上することが分かった。これは実運用上の示唆が大きい。自動評価パイプラインを構築する際、絶対評価よりもペア比較の枠組みを採用する方が信頼性を高められる可能性がある。もう一つの直感に反する発見は、「最強」のLLMが人間評価を最も信頼性高く再現するわけではないという点だ。著者らは、強いモデルが微妙な細部に対して過度に敏感になるためではないかと推測している。人間の注釈者や弱いモデルが見逃すような細部に、強いモデルが反応してしまう可能性がある。
この研究の意義は、汎用能力が高いモデルが常に優れた審査者であると単純に仮定できないこと、またLLM審査結果を人間評価の完全な代替として扱うべきではないことを示した点にある。パーソナライズされた文章スタイルの評価は特に複雑であり、具体的な課題と評価目的に応じた検証が必要である。論文には著者の所属と謝辞も記載されており、一部の作業はApple在籍中に行われたことが注記されている。