结构化分块、预嵌入SQLite语料库：欧盟AI法案

Hugging Face上近日发布了一个名为“aiact-openrag”的数据集，为欧盟AI法案（Regulation (EU) 2024/1689）提供了一种结构化分块、预嵌入的SQLite语料库。该数据集的核心是一个可直接下载的数据库文件，用户可在本地对其进行查询，而无需依赖任何托管服务或API。这一设计使得研究人员和工程师能够高效地检索法案中的具体条款，并用于检索增强生成（RAG）等场景。

该语料库的分块策略严格遵循法律的内在结构：每一个条款段落、每一条序言、每一附件点以及第3条中的每一个定义都被独立划分为一个分块。总计包含933个分块，具体包括180条序言、522个条款段落、68个第3条定义和163个附件点。每个分块都附有BGE-M3模型生成的密集嵌入向量（1024维浮点数，经过L2归一化），便于实现基于语义的相似度搜索。此外，元数据信息丰富，包括章节、条款编号、标题、内容类型、风险等级、约束对象、ELI深度链接以及第113条规定的分阶段适用日期。

值得注意的是，风险等级（如“禁止”或“高风险”）仅在法案文本本身明确分类时才被赋值，避免任何主观猜测。同样，约束对象（如提供者、部署者、进口商、分销商）也仅基于分块内部的句子进行判断，若无法确定则标记为NULL。这种保守的标注策略确保了标签的可信度和可追溯性。所有派生规则均在docs/derivation.md中详细记录。

数据集的源文本来自EUR-Lex的整合版本（CELEX 02024R1689-20240712），并经过严格的机械验证：每个条款（第1条至第113条）恰好出现一次，每个文本节点被精确消耗，无空分块产生。此外，数据集还包含一个元表，记录来源URL、两种CELEX标识符、嵌入模型、许可证信息以及四个派生列（risk_tier、regime_bucket、obligation_on、date_in_force）的语义说明，明确每个列的含义和局限性。

该数据集主要面向研究与工程用途，并非法律建议。开发者提供了简单的Python代码示例，演示了如何用约15行代码实现语义搜索，以及如何利用元数据进行过滤。例如，用户可以直接查询所有被标记为“禁止”的条款，或者筛选属于“高风险”制度的所有条款。

在评估方面，数据集在AI Act评估基准上进行了测试，涵盖检索、问答和风险分类任务。评估结果揭示了一个有趣的发现：在“有限”和“最低”风险等级上，不同模型之间的一致性较低，表明这些边界可能存在固有的模糊性。但评估仅是探索性研究，需要谨慎解读。

总而言之，该数据集为欧盟AI法案的结构化检索提供了一个方便、透明且可验证的工具，将复杂的法律文本转化为机器可读的、可直接查询的资源，有望推动AI治理领域的研究与合规工具开发。