BEA 2026 共有タスク「ルーブリックベースのドイツ語短解答採点」において、RETUYT-INCOチームは革新的なメタプロンプティング手法を提案しました。このタスクでは、特定のルーブリックに従って学生の短い解答を採点することが求められ、チームはTrack 1（未見解答3値分類）、Track 3（未見解答2値分類）、Track 4（未見問題2値分類）の3つのトラックに参加しました。各トラックでは、問題ごとに異なるルーブリックが使用され、訓練セットにない解答や問題に対して一般化する必要がありました。
メタプロンプティングの核心は、大規模言語モデル（LLM）が訓練セットから例を抽出し、自動的にカスタマイズされたプロンプトを生成することです。このプロンプトは、新しい学生の解答を採点するために使用されます。具体的には、まず訓練セットから複数の例（問題、模範解答、学生解答を含む）を選択し、それらをLLM（例：GPT-4）に入力して採点用のプロンプトを生成させます。このプロンプトには、ルーブリックの詳細な説明と採点ロジックの例が含まれます。そして、生成されたプロンプトを別のLLM（または同じLLM）に与え、テストセットの解答を採点します。このメタ学習アプローチにより、モデルは異なる問題やルーブリックに迅速に適応できます。
メタプロンプティングに加えて、チームは古典的な機械学習（サポートベクターマシン、ランダムフォレストなど）、オープンソースLLM（BERT、XLM-Rなど）のファインチューニング、および様々なプロンプトエンジニアリング戦略（ゼロショットプロンプト、少数ショットプロンプト）も探求しました。これらの手法は比較のベースラインを提供し、メタプロンプティングがほとんどの状況で優れていることを示しました。特に、未見問題のトラック4では、メタプロンプティングの性能が顕著でした。
公式結果によると、RETUYT-INCOは3つのトラックすべてで中程度以上の順位を獲得しました。Track 1では8チーム中6位（二次重み付きカッパQWK 0.729）、Track 3では9チーム中4位（QWK 0.674）、Track 4では8チーム中4位（QWK 0.49）でした。トップの成績ではありませんが、メタプロンプティング手法は限られた訓練データでの効果的な採点の可能性を示しており、特に未見問題への一般化に強みがあります。
本論文は、ACL 2026と併催されるBEA 2026ワークショップで発表される予定です。研究者らは、将来的にメタプロンプト生成戦略をさらに最適化し（例えば、より高度な例選択アルゴリズム、多段階生成の導入）、他の言語や採点シナリオに拡張できると述べています。また、メタプロンプティングと微調整モデルの組み合わせにより、さらなる性能向上が期待されます。この研究は、自動採点分野に柔軟で効率的な方法を提供し、教育評価技術の進歩に貢献するものです。