AI News HubLIVE
站内改写2 分钟阅读

不对称问题:AI安全措施主要给好人添麻烦

HuggingFace最近的事件揭示了AI安全防护措施的根本不对称性:它们阻碍了防御者,而攻击者则不受限制地操作,迫使防御者依赖开源模型进行取证分析。

来源Hacker News AI作者: Versipelle

HuggingFace最近披露的一起安全事件,生动地展示了AI安全护栏在实际应用中的尴尬处境。当该团队试图利用AI辅助工具进行日志取证分析时,他们首先尝试了通过商业API访问的顶尖模型,但很快便碰壁——因为分析过程需要提交大量的真实攻击命令、利用载荷和C2组件,而这些请求纷纷被提供商的“安全护栏”拦截,因为这些护栏无法区分事件响应人员和真正的攻击者。

无奈之下,HuggingFace转而使用开源模型GLM 5.2,部署在自己的基础设施上完成了取证工作。这一选择无意中带来了另一个好处:攻击者数据及其涉及的凭据都没有离开自己的环境。这一经历揭示了一个值得提前规划的巨大差距:攻击者的小型模型既可能是通过越狱方式调用的托管模型,也可能是不受限制的开源模型;无论如何,攻击者不受任何使用政策的约束,而防御方的工作却被托管模型的护栏所阻碍。

这并非首次在实际事件中遇到这一问题。研究还发现,攻击者开始利用代码注入伪造的系统指令和触发策略的内容,试图扰乱自动化的AI辅助分析。例如,一个名为_index.js的有效载荷开头包含了一大段JavaScript块注释,其中包含了虚假的系统指令和策略触发内容。由于这些内容位于注释内,不会影响JavaScript执行——解释器会直接跳过。真正的恶意代码位于注释之后,是一个包含大量字符编码数组和类ROT替换函数的try{eval(...)}包装。

这种设计明确针对的是通过AI进行代码分析的工具:它通过给语言模型投喂看似敏感的内容,导致弱防护管线在到达真正恶意代码之前就产生拒绝行为、提示混淆、上下文污染或过早分类。当然,这并非能神奇地绕过所有静态检测——YARA规则、熵检测、抽象语法树解析、字符串提取、反混淆和行为规则依旧有效——但对于那些依赖LLM进行初步三分类的轻量级系统来说,这确实是一种实用的反分析技巧。

迄今为止,并没有完美的解决方案。这些安全护栏确实能筛掉最明显的恶意流量,迫使攻击者付出更多努力。但这一现象并非LLM护栏所独有:如同我们有子弹主机托管商、反作弊绕过、DRM移除工具、自动验证码解决器和地下0day经销商一样,未来也会出现未经审查的LLM提供商。这些工具人人都能获取,但好人通常因为守法而无法使用,而网络犯罪分子则早已不在乎这些法律限制了。