理解LLM評估的四種主要方法（從頭實現）：多選題、驗證器、排行榜和LLM裁判

大語言模型（LLM）的評估是選擇和應用模型時的核心問題。本文將從零開始探討四種主流評估方法，並提供代碼示例，幫助讀者理解其內部機制和權衡。

1. 多選題基準

多選題基準（如MMLU）是歷史上最廣泛使用的評估方法之一。模型需要從給定的選項中選擇正確答案，性能以準確率衡量。例如，MMLU包含57個學科約1.6萬個問題。這種方法的優點在於標準化、可重複且運行成本低。然而，它只測量知識回憶，不反映模型在實際使用中的表現。

代碼實現

文章展示瞭如何使用預訓練的Qwen3 0.6B模型來評估MMLU子集。首先加載模型，然後格式化提示詞，最後提取模型生成的答案字母並與正確答案比較。示例顯示，在高中數學子集上，基礎模型和推理模型的準確率均不高。

2. 驗證器

與多選題不同，驗證器方法允許模型生成自由形式答案，然後通過外部工具（如代碼解釋器）提取最終答案並與正確答案比較。這種方法適用於數學和代碼等可驗證的領域，並已成為推理模型評估的基石。其缺點是引入了外部依賴，且僅適用於結果可驗證的任務。

3. 排行榜

排行榜（如LM Arena）基於用户偏好對模型進行排名。用户比較兩個模型的回答並投票選擇更好的一個。文章介紹瞭如何通過Elo評分系統將成對投票轉化為排行榜。Elo系統根據比賽結果更新評分，但存在順序效應。更先進的Bradley-Terry模型可以聯合估計所有評分並消除順序效應。排行榜能反映用户的真實偏好，但易受用户人口統計和投票偏見影響。

代碼實現

文章提供了Elo評分的Python實現，通過成對投票列表計算每個模型的最終評分，並對模型進行排序。

4. LLM裁判

LLM裁判使用另一個LLM根據預定義評分標準對模型回答打分。這種方法可擴展且一致，但依賴裁判模型的能力和提示詞設計。文章演示瞭如何使用Ollama運行gpt-oss模型作為裁判，通過API對模型回答進行評分。

代碼實現

文章展示瞭如何通過Ollama API向本地模型發送提示詞，並獲取評分結果。示例中，裁判根據評分標準對候選答案給出1-5分的評分。

總結

四種方法各有優劣：多選題簡單但侷限，驗證器適合可驗證任務，排行榜反映偏好但成本高，LLM裁判可擴展但依賴裁判質量。實際應用中常結合多種方法。本文的從零實現有助於深入理解評估機制。

整體而言，LLM評估是一個複雜但至關重要的領域。通過本文，讀者能夠掌握四種核心評估方法，並根據自身需求選擇合適的技術。從代碼實現中，可以直觀地看到每種方法的工作流程和注意事項。未來，隨着LLM能力的提升，評估方法也將不斷演進。