AI News HubLIVE
站內改寫2 分鐘閱讀

AI模型“過度思考”問題——這是一種安全風險

研究表明,具備推理能力的大語言模型容易因邏輯不一致的提示而陷入“過度思考”,導致輸出長度激增,可能被利用發動拒絕服務攻擊。浙江大學與阿里巴巴的研究人員開發了一種進化算法,能夠生成惡意提示,使模型輸出長度最高增加26倍,影響包括DeepSeek-R1、Qwen3-Thinking、GPT-o3和Gemini 2.5 Flash在內的主流推理模型。

來源IEEE Spectrum AI作者: Edd Gent

大型語言模型(LLM)通過逐步推理能力大幅擴展了AI可處理的任務範圍,但最新研究表明,這種推理能力也引入了一個關鍵漏洞,可能被攻擊者利用來使系統運行緩慢,甚至陷入停滯。

早期LLM會直接對用户請求生成響應,而當今最先進的模型在給出答案前,會生成內部“思維鏈”,將問題分解為多個步驟並推理最佳解決方案。這使得AI能夠處理更復雜的問題,尤其是在編碼和數學領域。然而,此前研究已發現,這些模型有時會生成過長的推理過程卻無助於性能提升,這一現象被稱為“過度思考”。

在本週於首爾舉行的國際機器學習大會(ICML 2026)上,浙江大學與阿里巴巴的研究人員展示了一種方法,通過向模型提供邏輯不一致的提示,可以故意誘發過度思考,從而對商用AI模型形成拒絕服務攻擊。研究團隊開發了一種進化算法,能夠破壞提示的邏輯結構,使模型在嘗試解決根本上無解的問題時陷入無休止的推理循環。生成更長的響應會消耗更多成本並增加模型提供商的服務器負載,因此大規模實施此類攻擊可能嚴重降低合法用户的體驗。

該攻擊對多家領先AI公司的推理模型有效,包括DeepSeek-R1、阿里巴巴的Qwen3-Thinking、OpenAI的GPT-o3以及谷歌的Gemini 2.5 Flash。在標準數學基準測試中,攻擊導致模型輸出長度最高達到正常響應的26倍。浙江大學碩士生曹偉(Wei Cao)在給IEEE Spectrum的郵件中表示:“我們的方法在多個數據集和推理模型上顯著放大了輸出長度。結果表明,過度思考並非個別模型獨有的孤立現象,而是現代推理模型的共同漏洞。”

研究團隊的方法基於此前另一組研究人員的成果,該研究顯示,在關鍵前提被移除的問題面前(例如,詢問某人每天走10英里,但未説明走了多少天),推理模型傾向於過度思考。模型不是識別出問題無解,而是陷入冗長且無效的推理循環。

在此基礎上,研究人員從三個數學基準數據集中選取了940個問題,使用LLM將其邏輯結構分解為一組前提和一個最終問題。隨後,遺傳算法通過多種“變異”操作打亂這些前提,包括在問題之間交換前提、添加額外前提、刪除現有前提,以及交換兩個前提集的最終問題。每輪變異後,根據問題導致目標模型輸出的單詞數量以及是否增加了特定語言標記(如“但是”、“等等”、“也許”、“或者”)的頻率進行評分。得分最高的兩個指標被保留,其餘問題再次打亂,重複此過程五代。曹偉指出,該方法無需訪問模型內部,僅通過查詢目標即可生成惡意提示,因此可以攻擊閉源商業服務。

研究人員發現,該方法在測試的推理模型上始終能產生比原始問題長數倍的輸出。其中最大的跳躍來自DeepSeek-R1在MATH數據集上的表現,該數據集包含高中數學競賽題目,最大輸出長度是未修改問題最長響應的26.1倍。雖然研究主要聚焦於數學問題,但作者也在編碼、科學推理和對話挑戰任務上進行了測試,觀察到所有三個領域的輸出長度均有顯著提升。

該方法的一個挑戰在於,生成惡意提示需要反覆查詢昂貴的推理模型,曹偉承認這可能限制其成本效益。然而,研究人員還證明,當使用更小、更便宜的模型來生成惡意提示時,仍能誘導目標模型產生比正常情況長數倍的輸出。這種在模型之間傳遞惡意提示的能力大大提高了攻擊的可行性。

但曹偉指出,研究的目的並非開發實用的拒絕服務攻擊。提供商的定價模型、速率限制策略、上下文窗口大小和現有防禦措施等因素都會影響該方法的有效性。相反,其意圖是強調這些模型對邏輯不一致提示的脆弱性,以便提供商嘗試緩解問題。他表示:“我們的目標不是證明可以以極低成本發動大規模攻擊,而是要證明存在這一攻擊面。我們的結果表明,該漏洞是一個現實的安全威脅。”