教育領域で大規模言語モデル（LLM）を評価するには、モデルが「何を知っているか」だけでなく、「どう教えるか」を測る必要がある。既存のベンチマークは、分野一般的な正しさに重点を置くか、手作業で設計されたルーブリックに依存しており、ロングテールな教育シナリオへの拡張性が低い。そこで本論文は、細粒度でシナリオ固有のルーブリックを自動構築・洗練・適用するエンドツーエンドのフレームワーク Elmes* を提案する。
Elmes* の中核は、教師・生徒・審判の相互作用をシミュレートする宣言型マルチエージェントエンジンである。これにより、評価プロセスを実際の教育に近づける。さらに、自己進化モジュール SceneGen を統合する。SceneGen は専門家が定義した教育次元に基づき、評価基準とテストデータを協調的に最適化し、ルーブリックとシナリオを共に進化させる。
Elmes* を用いて Edu-330 ベンチマークを構築した。このベンチマークは 330 の教育シナリオをカバーし、11 科目、3 学年帯、10 種類のタスクにわたり、1,000 以上の第二レベル指標を含む。指標は具体的な教育行動レベルまで細分化され、単なる正誤判定にとどまらない。
Edu-330 と専門家が作成した 4 つのゴールドスタンダードシナリオでの実験は、教育能力が多次元であることを示す。トップクラスの LLM 間の主な違いは創造性と価値観の統合に現れ、知識に強いモデルでもソクラテス式の足場かけ（スキャフォールディング）に失敗する場合がある。教育特化モデル InnoSpark は、人間評価で最高の平均スコアを獲得した。
さらに、LLM を審判として用いる実験では、LLM 審判は人間と比較可能な順位を維持しつつ、スコアの分散を大幅に低減するが、自己選好などの審判固有のバイアスも示すことが分かった。アブレーション実験では、専門家スコアによる少数ショットアンカリングが人間と LLM の整合性を向上させる一方、推論の強制や貪欲法によるデコードの効果はモデル依存であることが示された。Elmes* は、教育学的根拠に基づく LLM 評価のためのスケーラブルな診断基盤を提供する。