Just Keep Prompting：VLMにおける反復的なソクラテス的プロンプトの評価
JKPフレームワークは、繰り返しの挑戦的な質問に対するVLMの安定性を評価する。GPT-4o、Gemini 2.5 Pro、Qwen3-VL-30Bの評価では、大幅な不安定性と回答の反転が見られ、モデルごとに異なる圧力応答プロファイルが明らかになった。
研究者らは「Just Keep Prompting」（JKP）と呼ばれるマルチターン評価フレームワークを提案し、ユーザーがモデルの回答に繰り返し異議を唱えたり、質問したり、矛盾したりした際の視覚言語モデル（VLM）の認識的安定性を測定した。このフレームワークは、3つの戦略（敵対的否定：回答を繰り返し拒否する、純粋ソクラテス的尋問：確信度の再評価を繰り返し促す、文脈認識ソクラテス的要約：モデルの以前の推論を反映させて再考を促す）を用いて、最大10ターンにわたってモデルを探る。
GPT-4o、Gemini 2.5 Pro、Qwen3-VL-30Bの3モデルをSTARベンチマークのサブセット上で720回のマルチターン実行により評価した。全体的な精度は0ターン目から10ターン目にかけて緩やかに変化したが、軌跡レベルの分析では顕著な不安定性が明らかになった：正しい回答が後退し、誤った回答が回復し、多くの実行で回答の反転が繰り返された。繰り返しのプロンプトは利益に限界があり、推論の助けというよりむしろ不安定化要因として機能することが多い。
この効果はモデルに強く依存する：Qwen3-VL-30Bは最高の最終精度を達成したが、直接的な矛盾に対して自信過剰に誤る；Gemini 2.5 Proは比較的安定しているがトークン消費が大きい；GPT-4oは最も脆く、振動的である。これらの発見は、マルチターンVLM評価が追加の推論だけでなく、圧力応答プロファイル——つまりモデルが繰り返しの挑戦の下で視覚的根拠、キャリブレーション、会話コンプライアンスをどのようにトレードオフするか——を捉えることを示している。
本論文はShayda Moezziら5名の著者により2026年5月1日に提出され、arXivに掲載された（ID: 2607.14099）。研究分野は計算と言語（cs.CL）、人工知能（cs.AI）、コンピュータビジョンとパターン認識（cs.CV）である。この研究は、実際のアプリケーションにVLMを展開する際に、持続的な会話圧力下でのモデルの脆弱性を明らかにし、開発者がモデルを選択し対話システムを設計する上で重要な知見を提供する。