網絡安全人工智能（CAI）數據集：專家操作軌跡是LLM瓶頸

近日，Víctor Mayoral-Vilches等人發佈了一項重要研究——《網絡安全人工智能（CAI）數據集》，該數據集通過開源CAI Agent框架歷時十四個月收集，旨在解決網絡安全領域大型語言模型（LLM）應用中的關鍵瓶頸問題。研究團隊基於PentestGPT的發現，指出在網絡安全任務中，LLM的性能瓶頸並非來自基礎模型的能力，而是來自缺乏高質量的專家操作軌跡數據。

CAI數據集規模宏大，共包含230,935個會話日誌和26,027,742個用户提示，數據來源覆蓋123個國家的16,768個IP地址。這些數據涉及4,187個不同的LLM標識符，針對23,147個目標域進行操作，總存儲容量達18.07 TB。數據集的構成多樣且具有實戰性：攻擊性操作佔36.4%，攻擊者意圖相關操作佔20.1%，業務與集成操作佔27.5%，而防禦性操作僅佔4.4%。據作者稱，這是迄今為止描述的最大LLM驅動黑客軌跡語料庫。數據集以不同規模發佈，包括CAI Dataset10、CAI Dataset1k和CAI Dataset200k，面向合作伙伴和特定客户。

通過縱向分析，該數據集揭示了網絡安全自動化趨勢中的一個關鍵現象：操作員為了保持競爭力，明知輸入會被記錄，仍頻繁在提示中粘貼實時憑證、生產主機名和承載令牌。這種實踐導致大量敏感操作上下文集中到少數前沿模型API提供商手中，形成了一個巨大的單點故障。如果這些提供商遭受入侵或出於政治動機被重新利用，可能引發國家乃至企業規模的大規模破壞。論文強調，唯一既能保持生產力優勢又能保護操作員側機密性的配置，是在操作員信任邊界內部署本地託管的專用網絡安全LLM。CAI數據集正是為這種解決方案的實用化而設計的。

該研究不僅提供了寶貴的數據資源，也為網絡安全AI領域的未來發展指明瞭方向。它提醒我們，在追求自動化的同時，必須警惕數據集中化帶來的安全風險，並尋求在開放性與安全性之間的平衡。