網路安全人工智慧（CAI）資料集：專家操作軌跡是LLM瓶頸

近日，Víctor Mayoral-Vilches等人釋出了一項重要研究——《網路安全人工智慧（CAI）資料集》，該資料集透過開源CAI Agent框架歷時十四個月收集，旨在解決網路安全領域大型語言模型（LLM）應用中的關鍵瓶頸問題。研究團隊基於PentestGPT的發現，指出在網路安全任務中，LLM的效能瓶頸並非來自基礎模型的能力，而是來自缺乏高質量的專家操作軌跡資料。

CAI資料集規模宏大，共包含230,935個會話日誌和26,027,742個使用者提示，資料來源覆蓋123個國家的16,768個IP地址。這些資料涉及4,187個不同的LLM識別符號，針對23,147個目標域進行操作，總儲存容量達18.07 TB。資料集的構成多樣且具有實戰性：攻擊性操作佔36.4%，攻擊者意圖相關操作佔20.1%，業務與整合操作佔27.5%，而防禦性操作僅佔4.4%。據作者稱，這是迄今為止描述的最大LLM驅動駭客軌跡語料庫。資料集以不同規模釋出，包括CAI Dataset10、CAI Dataset1k和CAI Dataset200k，面向合作伙伴和特定客戶。

透過縱向分析，該資料集揭示了網路安全自動化趨勢中的一個關鍵現象：操作員為了保持競爭力，明知輸入會被記錄，仍頻繁在提示中貼上即時憑證、生產主機名和承載令牌。這種實踐導致大量敏感操作上下文集中到少數前沿模型API提供商手中，形成了一個巨大的單點故障。如果這些提供商遭受入侵或出於政治動機被重新利用，可能引發國家乃至企業規模的大規模破壞。論文強調，唯一既能保持生產力優勢又能保護操作員側機密性的配置，是在操作員信任邊界內部署本地託管的專用網路安全LLM。CAI資料集正是為這種解決方案的實用化而設計的。

該研究不僅提供了寶貴的資料資源，也為網路安全AI領域的未來發展指明瞭方向。它提醒我們，在追求自動化的同時，必須警惕資料集中化帶來的安全風險，並尋求在開放性與安全性之間的平衡。