AIモデルが「考えすぎる」問題——それはセキュリティリスクである
研究によると、推論能力を持つ大規模言語モデルは、論理的に一貫性のないプロンプトによって「考えすぎ」状態に陥り、出力長が急増し、サービス拒否攻撃に悪用される可能性があります。浙江大学とアリババの研究者は、進化的アルゴリズムを使用して悪意のあるプロンプトを生成し、DeepSeek-R1、Qwen3-Thinking、GPT-o3、Gemini 2.5 Flashといった主要な推論モデルで出力長を最大26倍に増加させました。
大規模言語モデル（LLM）はステップバイステップの推論能力により、AIが処理できるタスクの範囲を大幅に拡大しました。しかし、最新の研究によると、この推論能力は、攻撃者がシステムを遅延させるために悪用できる重大な脆弱性ももたらします。
以前のLLMはユーザーのリクエストに即座に応答していましたが、現在の最先端モデルは内部の「思考連鎖」を生成し、問題をステップに分解して最適な解決策を推論した後に回答を提供します。これにより、特にコーディングや数学の分野で、AIはより複雑な問題に取り組めるようになりました。しかし、以前の研究では、これらのモデルが時に性能向上にほとんど寄与しない過度に長い推論を生成する「考えすぎ」現象に陥ることが示されています。
先週ソウルで開催された国際機械学習会議（ICML 2026）で発表された研究で、浙江大学と中国の電子商取引大手アリババの研究者は、論理的に矛盾したプロンプトにモデルをさらすことで意図的に考えすぎを誘発できることを実証しました。その結果、商用AIモデルに対するサービス拒否攻撃が可能になります。
研究チームは、プロンプトの論理構造を破壊する進化的アルゴリズムを開発しました。これにより、モデルは根本的に解決不可能な問題を推論しようとして、考えすぎのスパイラルに陥ります。より長い応答を生成するにはコストがかかり、モデルプロバイダーのサーバー負荷が増加するため、大規模に行われた場合、正当なユーザーの体験を著しく低下させる可能性があります。
この攻撃は、DeepSeek-R1、アリババのQwen3-Thinking、OpenAIのGPT-o3、GoogleのGemini 2.5 Flashといった主要AI企業の推論モデルに対して有効で、標準的な数学ベンチマークにおいて、出力が通常の応答の最大26倍に達しました。浙江大学の修士課程学生、Wei Cao氏はIEEE Spectrumへの電子メールで、「複数のデータセットと推論モデルにわたり、私たちの手法は出力長を大幅に増幅します。私たちの結果は、考えすぎが個々のモデルに固有の孤立した現象ではなく、現代の推論モデルに共通する脆弱性であることを示唆しています」と述べています。
チームのアプローチは、別の研究グループによる以前の研究に基づいています。その研究では、重要な前提が除去された質問（例えば、1日に10マイル歩く人が合計でどのくらいの距離を歩くか、歩いた日数を指定しない場合）に直面すると、推論モデルは考えすぎる傾向があることが示されました。問題が解決不可能であることを認識する代わりに、モデルは回答を試みるために長くて最終的には無駄な推論ループに従事します。
このアイデアをさらに発展させ、著者らは3つの数学ベンチマークデータセットから940の問題を取得し、LLMを使用してそれらの論理構造を前提と最終質問のセットに分解しました。次に、遺伝的アルゴリズムが、問題間での前提の交換、前提の追加、既存の前提の削除、2つの前提セット間の最終質問の交換など、さまざまな「突然変異」を使用してこれらをかき混ぜました。
各突然変異ラウンドの後、問題は、ターゲットモデルに出力させる単語数と、「しかし」、「待って」、「多分」、「あるいは」などの考えすぎの特定の言語マーカーの頻度を増加させるかどうかでスコアリングされます。両方の指標で最も高いスコアを得た問題が保持され、残りの問題は再びかき混ぜられ、このプロセスが5世代繰り返されます。重要なのは、このアプローチはモデルの内部にアクセスする必要がなく、単にターゲットにクエリを実行することで悪意のあるプロンプトを生成できるため、クローズドソースの商用サービスを攻撃することが可能になるとCao氏は述べています。
研究者らは、このアプローチがテストした推論モデルに対して、未修正の質問によって生成されたものよりも数倍長い出力を一貫してもたらすことを発見しました。最大のジャンプは、高校数学コンテストの問題からなるMATHデータセットでのDeepSeek-R1であり、最大出力はモデルが未改変の質問に提供した最長応答の26.1倍でした。研究の主な焦点は数学の問題でしたが、著者らはコーディング、科学的推論、対話チャレンジでもテストし、3つすべての分野で出力長の大幅なジャンプを観察しました。
このアプローチの課題の1つは、悪意のあるプロンプトを開発するには高価な推論モデルへの繰り返しのクエリが必要であり、Cao氏はそれが費用対効果を制限する可能性があると認めています。しかし、研究者らは、より小型で安価なモデルを使用して悪意のあるプロンプトを生成した場合でも、ターゲットモデルに通常の数倍長い出力を生成させることができることも実証しました。この悪意のあるプロンプトをモデル間で転送する能力は、攻撃の実現可能性を大幅に高めるとCao氏は述べています。
しかし、彼は研究の目的は推論モデルに対する実用的なDoS攻撃を開発することではないと指摘しています。プロバイダーの価格モデル、レート制限ポリシー、コンテキストウィンドウサイズ、既存の防御策などの要因はすべて、アプローチの有効性に影響を与える可能性があります。意図はむしろ、これらのモデルの論理的に矛盾したプロンプトに対する脆弱性を強調し、プロバイダーが問題を緩和しようと試みるようにすることです。
「私たちの目的は、大規模な攻撃が無視できるコストで開始できることを実証することではなく、この攻撃面が存在することを確立することです」と彼は書いています。「私たちの結果は、脆弱性が現実的なセキュリティ上の懸念を表していることを示しています。」