エージェント評価で過剰評価を減らす、報酬なし判定ルーブリックの生成
本論文はRubricForgeを提案する。これは、少数の正解ラベル付き軌跡から人間が読める判定ルーブリックを自動生成し、環境報酬なしでLLMエージェントを評価できるようにする手法である。凍結した7Bモデルを使ったtau-benchとWebShopの評価では、誤合格率をG-Evalの0.173から0.115へと約半分に減らし、順位の忠実性も向上させた。一方、総合一致率の改善は統計的に有意ではなく、絶対スコアの較正ではG-Evalがわずかに優れる。
大規模な言語モデルエージェントの評価は、実行環境の報酬信号が高コスト・低速・利用不可な場合に、別の言語モデルを自動判定者（ジャッジ）として使うことが増えている。このような報酬なし判定器の価値は、その信頼性にかかっている。しかし既存手法は、G-Evalのようにスコアリングルーブリックを人手で書くか、判定モデルの重みを微調整するかのどちらかであり、どちらも流暢だが失敗した軌跡を成功と評価しがちだ。
この問題に取り組むため、Darragh Quinn氏ら6名の著者によるarXiv論文はRubricForgeを提案している。RubricForgeは、少数の正解ラベル付き軌跡から、リフレクティブ進化と呼ばれる手法で人間が読める判定ルーブリックを自動生成する。生成されたルーブリックは環境報酬との一致度が最大化されるように最適化され、その後に固定される。推論時は環境アクセスなしで、1回のモデル呼び出しだけで保留データを評価できる。最終成果物がテキストであるため、すべての判定を基準に紐付けて説明できる。
実験では、凍結された7Bモデルをエージェント兼ジャッジとして使用。tau-bench（220回のロールアウトから得た173件のラベル付き軌跡）とWebShop（160件）で評価した。主な利点は総合一致率ではなく忠実性に現れた。tau-benchでは、失敗軌跡を誤って成功とする率がG-Evalの0.173から0.115へ約半分に減少し、過剰評価を3件検出した一方で判定の覆りはゼロだった。WebShopでは、真の結果との順位相関（Spearman）が0.410となり、G-Evalの0.370を上回った。
一方で、G-Evalに対する総合一致率の優位は統計的に有意ではなく（McNemar p = 0.248）、絶対スコアの較正ではG-Evalの方がわずかに優れていた（|誤差|差 -0.048、p = 2×10^-4）。著者らは、報酬なし評価器では総合一致率よりも誤合格率が展開上の重要指標だと指摘する。誤合格は壊れたエージェントを出荷してしまうが、誤不合格は再試行のコストがかかるだけだからだ。
RubricForgeは、解釈可能性を保ちながら誤合格を抑えられる評価手法として、実運用を見据えたエージェント評価に新たな選択肢を提供する。今後はスコア較正の改善と、より多様なタスクでの検証が期待される。