サイバーセキュリティAI（CAI）データセット：専門家の操作軌跡がLLMのボトルネックであることを明らかに
CAIデータセットは、14ヶ月間にわたって収集されたサイバーセキュリティLLMの軌跡コーパスであり、230,935のセッションログと26,027,742のユーザープロンプトを含みます。123カ国の16,768のソースIPから取得され、専門家の操作軌跡がLLMのパフォーマンスにおけるボトルネックであることを示しています。オペレーターがライブ資格情報をプロンプトに貼り付ける習慣により、機密情報が少数のクラウドAPIプロバイダーに集中し、システムリスクを生じさせています。論文は、オンプレミスの専用サイバーセキュリティLLMの導入を提唱しています。
最近、Víctor Mayoral-Vilches氏らによって公開された「サイバーセキュリティAI（CAI）データセット」が注目を集めています。このデータセットは、オープンソースのCAIエージェントフレームワークを用いて14ヶ月間にわたって収集された、サイバーセキュリティ分野における大規模言語モデル（LLM）の軌跡コーパスです。研究チームは、PentestGPTの知見に基づき、サイバーセキュリティタスクにおいてLLMのパフォーマンスを制限する要因は基本モデルの能力ではなく、熟練したオペレーターによる高品質な軌跡データの不足であることを明らかにしました。
CAIデータセットは、230,935のセッションログと26,027,742のユーザープロンプトを含み、123カ国にわたる16,768のソースIPから収集されています。これらのデータは、4,187のユニークなLLM識別子と23,147のターゲットドメインをカバーし、総ストレージ容量は18.07 TBに達します。データセットの構成は実戦的で、攻撃的な操作が36.4%、攻撃者の意図に関連する操作が20.1%、ビジネス/統合操作が27.5%、防御的な操作が4.4%を占めています。著者らによれば、これは現在知られている中で最大のLLM駆動型ハッカーの軌跡コーパスです。データセットはCAI Dataset10、CAI Dataset1k、CAI Dataset200kという規模でパートナー組織や特定の顧客にリリースされています。
縦断的な分析により、このデータセットはサイバーセキュリティ自動化の重要な側面を浮き彫りにしています。オペレーターは競争力を維持するため、入力が記録されることを認識しながらも、ライブの資格情報、本番ホスト名、ベアラートークンをプロンプトに頻繁に貼り付けています。この慣行により、機密性の高い操作コンテキストが少数のフロンティアモデルAPIプロバイダーに集中し、単一障害点を形成しています。もしこれらのプロバイダーが侵害されたり、政治的な目的で悪用されたりすると、国家規模または企業規模の混乱を引き起こす可能性があります。論文は、生産性の利点とオペレーター側の機密性の両方を維持する唯一の構成は、オペレーターの信頼境界内でオンプレミスにホストされた専用のサイバーセキュリティLLMを導入することであると強調しています。CAIデータセットは、そのようなソリューションを実用的にするために設計されています。
この研究は、サイバーセキュリティAI分野に貴重なデータリソースを提供するとともに、自動化に伴うリスクへの認識を促します。データの集中化がもたらすセキュリティ上の課題に対処し、オープン性と安全性のバランスを取ることの重要性を示しています。