LLM-CTF基準測試——來自NeurIPS和原始執行的2,639個真實資料點
一個包含2,639個真實資料點的資料集，用於評估LLM在奪旗挑戰中的安全性，資料來自NeurIPS和原始執行。
LLM-CTF基準測試是一個專門設計用於評估大型語言模型（LLM）在奪旗（CTF）挑戰中安全效能的資料集。該資料集包含2,639個真實世界的資料點，這些資料點來自於NeurIPS會議上的CTF挑戰以及原始執行記錄。每個資料點都記錄了LLM在嘗試解決特定安全相關任務時的表現，例如漏洞利用、逆向工程和密碼破解。
該基準測試的獨特之處在於其資料來源的真實性：所有挑戰都基於實際的安全場景，而不是合成資料。這使得評估結果更具現實意義。資料集在Kaggle上公開發布，由研究人員Maniteja Maram建立，旨在推動AI安全領域的研究。
使用此資料集，研究人員可以測試不同LLM在複雜安全任務中的能力，從而衡量模型的魯棒性和潛在風險。基準測試涵蓋了多種攻擊型別和防禦策略，為開發者提供了改進模型安全性的參考。
此外，該資料集的釋出也促進了社群合作：透過公開資料，更多的研究者能夠復現實驗並開發新的安全評估方法。對於關注AI安全的工程師和研究員來說，這是一個重要的資源。