大規模言語モデル（LLM）は自然言語処理（NLP）における主要なパラダイムとなり、研究と産業の両方で急速な進歩を遂げています。モデルサイズと事前学習データの増加に伴い、トレーニングデータセットの規模と不透明さから、事前学習データ露出（PDE）への懸念が高まっています。PDEとは、特定のデータがLLMの事前学習コーパスに含まれていたかどうかを判断することを指し、評価の完全性を保証しプライバシーを保護するために重要です。この分野は、データ汚染とメンバーシップ推論という二つの重要な領域にまたがりますが、これまで別々に研究されることが多かったのです。
最近、Ziyi Tongらによるサーベイ論文（arXiv:2605.26133）がNLDB 2025会議に採択され、この二つの領域をPDEフレームワークのもとで初めて統合的に調査しました。著者らは、PDEを複数の露出レベルで形式化し、単純なデータメンバーシップの検出から部分的な漏洩の識別までをカバーする統一的な分類体系を構築しました。さらに、既存の攻撃手法（例えば、パープレキシティに基づくメンバーシップ推論攻撃や、モデル出力を利用したブラックボックス攻撃）と防御戦略（データ重複除去、差分プライバシー、正則化技術など）を体系的にレビューしています。
論文はまた、複数の実証研究の知見を統合し、現在のLLMがPDEに対して脆弱であることを明らかにしています。例えば、多くのモデルは標準的なメンバーシップ推論攻撃に対して高い成功率を示し、トレーニングデータ中の機密情報が意図せず記憶され、漏洩する可能性があります。同時に、データ汚染は広く存在し、特に人気のあるベンチマークではモデルの真の能力が過大評価されています。これらの脆弱性は、モデル評価の信頼性、ユーザープライバシーの保護、およびモデルの安全な展開に深刻な課題を投げかけています。
さらに、論文はPDEが実際の応用に与える影響について詳細に議論しています。モデル評価においては、データ汚染がリーダーボードの順位を歪め、研究の方向性やリソース配分を誤らせる可能性があります。プライバシー保護の観点では、メンバーシップ推論攻撃によりモデル出力からトレーニングデータ内の個人情報が抽出されるリスクがあり、プライバシー規制に違反する恐れがあります。また、PDEはモデルのセキュリティとも密接に関連し、敵対的攻撃が露出情報を利用してより効果的な攻撃を仕掛けることができます。
最後に、論文は現在の未解決の課題と将来の研究方向を指摘しています。例えば、大規模モデルに適用可能なスケーラブルな防御手法の設計、異なる露出レベルがもたらす実際のリスクの定量化、プライバシー保護とモデル性能のトレードオフの最適化、そして公平な比較を可能にする統一評価ベンチマークの構築などが挙げられます。このサーベイは、LLMのPDE問題を包括的に理解するための基盤を提供し、今後の研究の指針となります。LLMが医療、金融、法律などのセンシティブな領域で広く利用されるにつれて、PDE問題の解決はますます重要になるでしょう。