FineWeb資料集編碼實戰：流式處理、過濾、去重、分詞及大規模網路語料分析

本教程提供了一個關於FineWeb資料集的高階實戰工作流程，重點展示瞭如何在不下載整個多TB語料庫的情況下進行流式處理、質量過濾、去重、分詞以及大規模網路語料分析。FineWeb由Hugging Face釋出，是一個經過嚴格清洗的網路語料庫，廣泛用於大語言模型的預訓練。透過本教程，讀者可以深入瞭解這類資料集的處理管道。

首先，我們使用Hugging Face的datasets庫流式載入FineWeb的sample-10BT子集，僅需獲取3000個文件樣本。透過DataFrame檢視關鍵後設資料欄位，如URL、語言標籤、語言評分和token數量，並透過一個完整示例瞭解資料結構。

接下來，我們重現了FineWeb使用的質量過濾器，包括Gopher風格過濾（檢查單詞數量、平均單詞長度、符號比例等）、C4風格過濾（去除重複行、短行比例過高或列表結構明顯的文件）以及自定義啟發式規則。由於FineWeb已預先過濾，大多數文件透過測試，但這些過濾器揭示了少量被標記的文件，有助於理解清洗規則。

在去重方面，我們應用了MinHash和區域性敏感雜湊（LSH）演算法，將文件轉化為5-gram詞幹集合，生成128個最小雜湊簽名，並在0.7的Jaccard相似度閾值下查詢近似重複對。在所取樣的文件中，僅發現少數近似重複對，說明FineWeb的爬取級別去重已經非常有效。

為了驗證資料集提供的token數量欄位，我們使用OpenAI的tiktoken庫重新計算GPT-2分詞器的token數，並與儲存值進行對比。結果顯示平均絕對差異很小，大部分文件完全匹配，只有微小偏移，這可能是由於分詞器版本差異所致。我們還計算了每個token的平均字元數，約為4-5個，這表明GPT-2分詞器對英文文本具有較好的壓縮效率。

最後，我們從URL中提取域名，統計了樣本中最常出現的域名，並繪製了token數量分佈、語言評分分佈、字元每token分佈以及前15名域名柱狀圖。這些視覺化有助於快速瞭解語料的組成和質量。

總而言之，本教程提供了一個切實可用的大規模網路語料庫處理管線模板。讀者可以輕鬆擴充套件到更大的FineWeb爬取資料，進行更深入的語料分析，或設計用於LLM訓練的高質量預處理管道。完整的Jupyter Notebook程式碼可在原文連結中獲得。