网络安全人工智能（CAI）数据集：专家操作轨迹是LLM瓶颈
CAI数据集是一个为期十四个月的网络安全LLM轨迹语料库，包含23万+会话日志和2600万+用户提示，来自123个国家的16,768个源IP。研究发现，专家操作轨迹而非模型能力是LLM性能瓶颈，且操作员频繁粘贴实时凭证导致敏感信息集中于云API提供商，构成系统性风险。论文建议部署本地专用网络安全LLM。
近日，Víctor Mayoral-Vilches等人发布了一项重要研究——《网络安全人工智能（CAI）数据集》，该数据集通过开源CAI Agent框架历时十四个月收集，旨在解决网络安全领域大型语言模型（LLM）应用中的关键瓶颈问题。研究团队基于PentestGPT的发现，指出在网络安全任务中，LLM的性能瓶颈并非来自基础模型的能力，而是来自缺乏高质量的专家操作轨迹数据。
CAI数据集规模宏大，共包含230,935个会话日志和26,027,742个用户提示，数据来源覆盖123个国家的16,768个IP地址。这些数据涉及4,187个不同的LLM标识符，针对23,147个目标域进行操作，总存储容量达18.07 TB。数据集的构成多样且具有实战性：攻击性操作占36.4%，攻击者意图相关操作占20.1%，业务与集成操作占27.5%，而防御性操作仅占4.4%。据作者称，这是迄今为止描述的最大LLM驱动黑客轨迹语料库。数据集以不同规模发布，包括CAI Dataset10、CAI Dataset1k和CAI Dataset200k，面向合作伙伴和特定客户。
通过纵向分析，该数据集揭示了网络安全自动化趋势中的一个关键现象：操作员为了保持竞争力，明知输入会被记录，仍频繁在提示中粘贴实时凭证、生产主机名和承载令牌。这种实践导致大量敏感操作上下文集中到少数前沿模型API提供商手中，形成了一个巨大的单点故障。如果这些提供商遭受入侵或出于政治动机被重新利用，可能引发国家乃至企业规模的大规模破坏。论文强调，唯一既能保持生产力优势又能保护操作员侧机密性的配置，是在操作员信任边界内部署本地托管的专用网络安全LLM。CAI数据集正是为这种解决方案的实用化而设计的。
该研究不仅提供了宝贵的数据资源，也为网络安全AI领域的未来发展指明了方向。它提醒我们，在追求自动化的同时，必须警惕数据集中化带来的安全风险，并寻求在开放性与安全性之间的平衡。