訓練數據的質量從根本上決定了大型語言模型（LLM）的能力，然而，目前尚無統一的基準來衡量LLM、智能體以及數據中心工作流在端到端準備訓練數據方面的表現。為填補這一空白，Hao Liang等研究者提出了DataPrep-Bench，這是首個能夠在共享的下游訓練協議下，聯合評估LLM驅動的數據準備工作中兩個互補能力的統一基準。這兩個能力分別是：數據構建（data construction），即將原始來源轉化為監督訓練數據；以及數據質量評估（data quality evaluation），即在訓練前預測候選數據集的價值。這裏的“質量”特指下游訓練中的實用性，而非表面的文本特性。
DataPrep-Bench覆蓋了金融、數學、科學、醫學等六個不同領域，並使用多種基礎模型進行評估。在數據構建方面，所有方法都使用相同的原始數據源，並通過將模型輸出與Dolly-15k聯合微調來評分。研究人員還發布了Data-Construction-Skill，一個技能引導的智能體，在Llama-3.1-8B模型上，針對金融領域，將僅使用Dolly的基線提升了近20個絕對百分點，並且在知識提取密集的領域（如醫學）中，與最強大的基於智能體和DataFlow的方法性能相當。
在數據質量評估方面，評分函數通過皮爾遜相關係數（Pearson correlation）與共享候選池上的下游性能進行評分。研究者提出了Distributional Alignment Score (DAS)，這是一種基於分佈的評估器，利用候選數據集與領域代理之間的最大均值差異（MMD）。DAS在六個領域中的四個達到了最強的跨模型相關性，並且是唯一在數學、科學和醫學三個領域同時超過r>0.70的指標，顯著優於現有的基於質量、多樣性和啓發式的評估器。
DataPrep-Bench提供了一個以下游訓練為根基的框架，將數據構建和數據質量評估視為LLM驅動數據準備的兩個同等重要的目標。該基準有望加速對數據中心AI的研究，幫助社區開發更高效、更高質量的訓練數據準備方法，從而推動LLM能力的進一步提升。相關代碼和模型已公開，供研究者使用。