大規模Webクロールコーパスにおけるテキスト含有の堅牢でスケーラブルな検出

最近、複数の研究者による論文でFindMyTextが紹介されました。これは、テキストコーパス内に与えられたテキストが部分的または完全に含まれているかを効率的に評価するオープンソースのPythonパッケージです。このツールは、ドキュメントフィンガープリント技術に基づいていますが、一致するフィンガープリントのシーケンスを明示的に捕捉する新しいメカニズムで拡張されています。このチェーンを特定することで、単なるテキスト類似性ではなく、ほぼ逐語的なコピーをより確実に検出でき、著作権で保護された素材のコーパス内存在確認に特に適しています。

FindMyTextは分散ディスクベースのインデックスフレームワークを採用しており、大規模なWebクロールデータセットにスケール可能です。研究者らはテキスト含有手法を評価する新しいベンチマークを構築し、ArXiv論文、Wikipedia、汎用Webコンテンツの3つのデータセットにおいて、FindMyTextが代替手法を上回ることを示しました。このツールはオープンソースとして公開されており、研究者や開発者は自由に利用・改変してさまざまなテキストマッチングのニーズに適用できます。

論文はarXivで公開され、コードとデータへのリンクも提供されています。FindMyTextのリリースは、大規模テキストコーパスにおける著作権検出やテキスト完全性検証のための強力なツールを提供し、特にトレーニングデータに著作権コンテンツが含まれていないことを確認する必要があるAIモデル開発者にとって実用的価値が高いものです。従来の手法では、テキストの類似度を測ることはできても、ほぼ同一のコピーを特定するのは困難でした。FindMyTextはフィンガープリントの連鎖に着目することで、この問題を解決します。具体的には、コーパス内のドキュメントを小さな断片（フィンガープリント）に分割し、それらをデータベースに保存します。クエリテキストが与えられると、同様に分割して生成されたフィンガープリントとコーパス内のものを照合し、連続して一致するフィンガープリントの「鎖」を見つけます。この鎖が長いほど、コピーである可能性が高くなります。このアプローチにより、言い換えや軽微な編集にも頑健になります。また、分散ディスクベースの設計により、テラバイト級のコーパスでも現実的な時間で検索が可能です。研究チームは、この新しいベンチマークを用いて、既存の代表的な手法と比較しました。その結果、FindMyTextはすべてのデータセットで最高のF1スコアを達成し、特に逐語コピーを含むサンプルで優れた性能を示しました。この成果は、大規模言語モデルの学習データの品質管理や、学術出版における盗用チェックなど、幅広い応用が期待されます。