AI模型“过度思考”问题——这是一种安全风险
研究表明,具备推理能力的大语言模型容易因逻辑不一致的提示而陷入“过度思考”,导致输出长度激增,可能被利用发动拒绝服务攻击。浙江大学与阿里巴巴的研究人员开发了一种进化算法,能够生成恶意提示,使模型输出长度最高增加26倍,影响包括DeepSeek-R1、Qwen3-Thinking、GPT-o3和Gemini 2.5 Flash在内的主流推理模型。
大型语言模型(LLM)通过逐步推理能力大幅扩展了AI可处理的任务范围,但最新研究表明,这种推理能力也引入了一个关键漏洞,可能被攻击者利用来使系统运行缓慢,甚至陷入停滞。
早期LLM会直接对用户请求生成响应,而当今最先进的模型在给出答案前,会生成内部“思维链”,将问题分解为多个步骤并推理最佳解决方案。这使得AI能够处理更复杂的问题,尤其是在编码和数学领域。然而,此前研究已发现,这些模型有时会生成过长的推理过程却无助于性能提升,这一现象被称为“过度思考”。
在本周于首尔举行的国际机器学习大会(ICML 2026)上,浙江大学与阿里巴巴的研究人员展示了一种方法,通过向模型提供逻辑不一致的提示,可以故意诱发过度思考,从而对商用AI模型形成拒绝服务攻击。研究团队开发了一种进化算法,能够破坏提示的逻辑结构,使模型在尝试解决根本上无解的问题时陷入无休止的推理循环。生成更长的响应会消耗更多成本并增加模型提供商的服务器负载,因此大规模实施此类攻击可能严重降低合法用户的体验。
该攻击对多家领先AI公司的推理模型有效,包括DeepSeek-R1、阿里巴巴的Qwen3-Thinking、OpenAI的GPT-o3以及谷歌的Gemini 2.5 Flash。在标准数学基准测试中,攻击导致模型输出长度最高达到正常响应的26倍。浙江大学硕士生曹伟(Wei Cao)在给IEEE Spectrum的邮件中表示:“我们的方法在多个数据集和推理模型上显著放大了输出长度。结果表明,过度思考并非个别模型独有的孤立现象,而是现代推理模型的共同漏洞。”
研究团队的方法基于此前另一组研究人员的成果,该研究显示,在关键前提被移除的问题面前(例如,询问某人每天走10英里,但未说明走了多少天),推理模型倾向于过度思考。模型不是识别出问题无解,而是陷入冗长且无效的推理循环。
在此基础上,研究人员从三个数学基准数据集中选取了940个问题,使用LLM将其逻辑结构分解为一组前提和一个最终问题。随后,遗传算法通过多种“变异”操作打乱这些前提,包括在问题之间交换前提、添加额外前提、删除现有前提,以及交换两个前提集的最终问题。每轮变异后,根据问题导致目标模型输出的单词数量以及是否增加了特定语言标记(如“但是”、“等等”、“也许”、“或者”)的频率进行评分。得分最高的两个指标被保留,其余问题再次打乱,重复此过程五代。曹伟指出,该方法无需访问模型内部,仅通过查询目标即可生成恶意提示,因此可以攻击闭源商业服务。
研究人员发现,该方法在测试的推理模型上始终能产生比原始问题长数倍的输出。其中最大的跳跃来自DeepSeek-R1在MATH数据集上的表现,该数据集包含高中数学竞赛题目,最大输出长度是未修改问题最长响应的26.1倍。虽然研究主要聚焦于数学问题,但作者也在编码、科学推理和对话挑战任务上进行了测试,观察到所有三个领域的输出长度均有显著提升。
该方法的一个挑战在于,生成恶意提示需要反复查询昂贵的推理模型,曹伟承认这可能限制其成本效益。然而,研究人员还证明,当使用更小、更便宜的模型来生成恶意提示时,仍能诱导目标模型产生比正常情况长数倍的输出。这种在模型之间传递恶意提示的能力大大提高了攻击的可行性。
但曹伟指出,研究的目的并非开发实用的拒绝服务攻击。提供商的定价模型、速率限制策略、上下文窗口大小和现有防御措施等因素都会影响该方法的有效性。相反,其意图是强调这些模型对逻辑不一致提示的脆弱性,以便提供商尝试缓解问题。他表示:“我们的目标不是证明可以以极低成本发动大规模攻击,而是要证明存在这一攻击面。我们的结果表明,该漏洞是一个现实的安全威胁。”