構造的にチャンク化され、事前埋め込みされたEU AI法のSQLiteコーパス

Hugging Face上で公開された「aiact-openrag」データセットは、EU AI法（規則(EU) 2024/1689）の構造化チャンク化・事前埋め込みSQLiteコーパスです。このデータセットは、ダウンロード可能なデータベースファイルとして提供され、ユーザーはローカルで直接クエリを実行でき、ホスト型サービスに依存する必要はありません。この設計により、研究者やエンジニアは法令の特定の条項を効率的に検索し、検索拡張生成（RAG）などの用途に利用できます。

チャンク化は法的構造に厳密に従っており、各条文パラグラフ、前文、附属書ポイント、第3条の各定義がそれぞれ独立したチャンクとなっています。合計933チャンク（180前文、522条文パラグラフ、68第3条定義、163附属書ポイント）が含まれ、各チャンクにはBGE-M3密埋め込み（1024次元浮動小数点、L2正規化）が付与されています。メタデータには、章、節、条文番号、見出し、タイプ、リスクレベル、義務主体、ELIディープリンク、第113条に基づく段階的適用日が含まれます。

リスクレベル（「禁止」や「高リスク」など）は、法案テキスト自体が明確に分類している場合にのみ割り当てられ、推測は行われません。同様に、義務主体（提供者、展開者、輸入者、販売者など）もチャンク内の文に基づいて判断され、不明な場合はNULLとなります。この保守的なラベル付け戦略により、ラベルの信頼性とトレーサビリティが確保されています。すべての派生ルールはdocs/derivation.mdに文書化されています。

ソーステキストはEUR-Lex統合版（CELEX 02024R1689-20240712）であり、機械的に検証されています。各条文（1〜113）が正確に1回出現し、すべてのテキストノードが消費され、空チャンクは存在しません。また、メタテーブルにはソースURL、両方のCELEX ID、埋め込みモデル、ライセンス情報、4つの派生カラムのセマンティクスが記録され、各カラムの意味と限界が明確に示されています。

このデータセットは主に研究とエンジニアリングのためのものであり、法的アドバイスを提供するものではありません。開発者は、約15行のコードでセマンティック検索を実現する例や、メタデータによるフィルタリング方法を提供しています。たとえば、「禁止」とラベル付けされた条項を直接クエリしたり、「高リスク」制度に属するすべての条項をフィルタリングしたりできます。

評価では、AI Act Evaluation Benchmarkを使用して検索、QA、リスク分類タスクがテストされました。評価結果は、特に「限定」および「最小」リスクレベルにおいてモデル間の一致が低いことを示しており、これらの境界に本質的な曖昧さがある可能性が示唆されています。ただし、これは探索的な発見であり、注意深く解釈する必要があります。

全体として、このデータセットはEU AI法の構造化検索のための便利で透明性があり検証可能なツールを提供し、複雑な法令テキストを機械可読で直接クエリ可能なリソースに変換することで、AIガバナンス分野の研究とコンプライアンスツールの開発を促進します。