結構化分塊、預嵌入SQLite語料庫：歐盟AI法案

Hugging Face上近日釋出了一個名為“aiact-openrag”的資料集，為歐盟AI法案（Regulation (EU) 2024/1689）提供了一種結構化分塊、預嵌入的SQLite語料庫。該資料集的核心是一個可直接下載的資料庫檔案，使用者可在本地對其進行查詢，而無需依賴任何託管服務或API。這一設計使得研究人員和工程師能夠高效地檢索法案中的具體條款，並用於檢索增強生成（RAG）等場景。

該語料庫的分塊策略嚴格遵循法律的內在結構：每一個條款段落、每一條序言、每一附件點以及第3條中的每一個定義都被獨立劃分為一個分塊。總計包含933個分塊，具體包括180條序言、522個條款段落、68個第3條定義和163個附件點。每個分塊都附有BGE-M3模型生成的密集嵌入向量（1024維浮點數，經過L2歸一化），便於實現基於語義的相似度搜尋。此外，後設資料資訊豐富，包括章節、條款編號、標題、內容型別、風險等級、約束物件、ELI深度連結以及第113條規定的分階段適用日期。

值得注意的是，風險等級（如“禁止”或“高風險”）僅在法案文本本身明確分類時才被賦值，避免任何主觀猜測。同樣，約束物件（如提供者、部署者、進口商、分銷商）也僅基於分塊內部的句子進行判斷，若無法確定則標記為NULL。這種保守的標註策略確保了標籤的可信度和可追溯性。所有派生規則均在docs/derivation.md中詳細記錄。

資料集的源文本來自EUR-Lex的整合版本（CELEX 02024R1689-20240712），並經過嚴格的機械驗證：每個條款（第1條至第113條）恰好出現一次，每個文本節點被精確消耗，無空分塊產生。此外，資料集還包含一個元表，記錄來源URL、兩種CELEX識別符號、嵌入模型、許可證資訊以及四個派生列（risk_tier、regime_bucket、obligation_on、date_in_force）的語義說明，明確每個列的含義和侷限性。

該資料集主要面向研究與工程用途，並非法律建議。開發者提供了簡單的Python程式碼示例，演示瞭如何用約15行程式碼實現語義搜尋，以及如何利用後設資料進行過濾。例如，使用者可以直接查詢所有被標記為“禁止”的條款，或者篩選屬於“高風險”制度的所有條款。

在評估方面，資料集在AI Act評估基準上進行了測試，涵蓋檢索、問答和風險分類任務。評估結果揭示了一個有趣的發現：在“有限”和“最低”風險等級上，不同模型之間的一致性較低，表明這些邊界可能存在固有的模糊性。但評估僅是探索性研究，需要謹慎解讀。

總而言之，該資料集為歐盟AI法案的結構化檢索提供了一個方便、透明且可驗證的工具，將複雜的法律文本轉化為機器可讀的、可直接查詢的資源，有望推動AI治理領域的研究與合規工具開發。