LLM-CTFベンチマーク – NeurIPSおよびオリジナルランからの2,639の実データポイント

LLM-CTFベンチマークは、大規模言語モデル（LLM）のキャプチャ・ザ・フラッグ（CTF）チャレンジにおけるセキュリティ性能を評価するために設計されたデータセットです。このデータセットには、NeurIPS会議でのCTFチャレンジおよびオリジナルランから得られた2,639の実世界データポイントが含まれています。各データポイントは、脆弱性悪用、リバースエンジニアリング、暗号解読などの特定のセキュリティ関連タスクをLLMが解決しようとする際のパフォーマンスを記録しています。

このベンチマークの特筆すべき点は、データソースのリアルさにあります。すべてのチャレンジは合成データではなく、実際のセキュリティシナリオに基づいています。これにより、評価結果はより現実的な意味を持ちます。データセットはKaggleで公開され、研究者のManiteja Maramによって作成されました。AIセキュリティ分野の研究を促進することを目的としています。

このデータセットを使用することで、研究者は複雑なセキュリティタスクにおける異なるLLMの能力をテストし、モデルの堅牢性と潜在的なリスクを評価できます。ベンチマークは多様な攻撃タイプと防御戦略をカバーしており、開発者がモデルのセキュリティを向上させるための参考資料を提供します。

さらに、このデータセットの公開はコミュニティの協力を促進します。データを公開することで、より多くの研究者が実験を再現し、新しいセキュリティ評価手法を開発することが可能になります。AIセキュリティに関心のあるエンジニアや研究者にとって重要なリソースです。