裁判官のコード化：プログラム蒸留によるスケーラブルな評価
本稿では、LLM-as-a-judgeの高コスト・高レイテンシ・不透明性を解決するため、プログラム蒸留という手法を提案する。LLMの判断ロジックをプログラム委員会に蒸留し、透明で編集可能、APIコストゼロの評価を実現。PAJAMAシステムはプログラム裁判官の合議と低信頼時におけるLLMへのフォールバック機構を備え、複数データセットで13B規模LLMと同等の性能を示し、RewardBenchでは専有LLMラベルよりもはるかに低コストで優れた報酬モデルを達成した。
AI評価の分野において、大規模言語モデル（LLM）を評価者として用いる「LLM-as-a-judge」は、自動評価の標準手法として広く普及している。しかし、この手法は高いAPIコスト、大きなレイテンシ、そして不透明な判断プロセスといった課題を抱えており、そのスケーラビリティと信頼性を損なっている。これらの問題に対処するため、ウィスコンシン大学マディソン校のTzu-Heng Huang、Shengqi Qiu、Frederic Salaの研究チームは、プログラム蒸留（Program Distillation）と呼ばれるシンプルで効率的な代替手法を提案した。本論文は2026年5月29日にarXivに投稿された。
プログラム蒸留の基本的なアイデアは、LLMの判断ロジックを一連のプログラムに蒸留し、それらのプログラムからなる委員会が直接候補をスコアリングするというものである。従来の手法とは異なり、プログラム化された評価者（programmatic judges）は評価時にAPIコールを一切必要としないため、コストが大幅に削減される。さらに、これらのプログラムは完全に透明であり、容易に検査や修正が可能なため、評価の解釈可能性が飛躍的に向上する。
この概念に基づき、研究チームはPAJAMAシステムを開発した。PAJAMAは評価者として機能するプログラムを自動合成し、複数のプログラム評価者の判断を統合して最終的な評決を生成する。また、信頼度が低いケースについては、LLMに選択的にエスカレーションするフォールバック機構を備えており、精度を確保しつつコストを抑えるという巧妙な設計となっている。
実験では、5つのデータセットと4つのモデルファミリーにおいて、プログラム評価者が13B規模のLLM評価者と同等の性能を達成することが示された。プログラム出力をルーティングシグナルとして使用すると、PAJAMAは精度とスループットの両方を向上させ、パレートフロンティアを前進させた。さらに注目すべき点として、プログラム評価者は安価で効果的な報酬信号を生成する。RewardBenchベンチマークでは、プログラムの評決から蒸留された報酬モデルが、専有LLMのラベルで訓練されたモデルを、APIコストが2桁低いにもかかわらず上回る性能を示した。
この研究は、AI評価の分野に新たな道を開くものである。プログラム蒸留技術により、評価品質を損なうことなく、コストとレイテンシを大幅に削減し、システムの透明性と信頼性を高めることが可能になる。今後、このプログラムベースの評価手法は、自動評価が必要なさまざまなシナリオ、例えばモデルアライメントや強化学習における報酬モデリング、大規模モデルの性能監視などに広く応用されることが期待される。この技術のさらなる発展により、AI評価がより効率的で経済的、かつ解釈可能になる未来が近づいている。