在BEA 2026共享任務“基於評分標準的德語短答案評分”中，RETUYT-INCO團隊提出了創新的元提示方法。該任務要求根據特定評分標準對學生的短答案進行打分，涉及三個賽道：Track 1（未見過答案的三分類評分）、Track 3（未見過答案的二分類評分）和Track 4（未見過問題的二分類評分）。這些賽道具有挑戰性，因為評分標準因問題而異，且測試集中的答案或問題在訓練集中從未出現。
元提示方法的核心是讓大語言模型（LLM）從訓練集中提取示例，自動生成一個定製的提示。這個提示隨後被用於對新的學生答案進行評分。相比手動構建提示，該方法能夠自適應任務變化，提高評分的準確性和一致性。具體來說，團隊首先從訓練集中選取若干示例（包括問題和對應的參考答案及學生答案），然後利用一個LLM（如GPT-4）根據這些示例生成一個評分提示。該提示包含了評分標準的詳細描述和示例評分邏輯。最後，這個生成的提示被用於另一個LLM（或同一個LLM）對測試集中的答案進行評分。這種元學習的方式使得模型能夠快速適應不同的問題和評分標準。
除了元提示，團隊還探索了多種其他技術，包括經典機器學習模型（如支援向量機、隨機森林）、微調開源LLM（如BERT、XLM-R）以及不同的提示工程策略（如零樣本提示、少樣本提示）。這些方法為比較提供了基準，也展示了元提示在大多數情況下的優越性。實驗表明，元提示在跨問題泛化方面表現尤為突出，特別是在Track 4（未見過問題）中，其效能優於其他方法。
官方結果公佈後，RETUYT-INCO在三個賽道中均取得了中等偏上的排名。Track 1中，團隊在8支參賽隊伍中排名第6，二次加權卡帕（QWK）得分為0.729；Track 3中，在9支隊伍中排名第4，QWK為0.674；Track 4中，在8支隊伍中排名第4，QWK為0.49。儘管排名並非頂尖，但元提示方法展示了在有限訓練資料下進行有效評分的潛力，特別是在未見問題的場景中。
該論文將在與ACL 2026聯合舉辦的BEA 2026研討會上展示。研究者認為，未來的工作可以進一步最佳化元提示的生成策略，例如使用更先進的示例選擇演算法、引入多輪迭代生成，以及擴充套件到其他語言和評分場景。此外，將元提示與微調模型結合可能帶來進一步的效能提升。這項研究為自動化評分領域提供了一種靈活且高效的方法，有望推動教育評估技術的進步。