持續提示：評估視覺語言模型中的重複蘇格拉底式提問

研究者提出了一項名為“Just Keep Prompting”（JKP）的多輪評估框架，用於衡量視覺語言模型（VLM）在使用者反覆質疑、挑戰或否定其回答時的認知穩定性。該框架透過三種策略對模型進行最多10輪的後續追問：對抗性否定（反覆拒絕模型的答案）、純蘇格拉底式質詢（反覆要求模型重新評估其確定性），以及上下文感知蘇格拉底式總結（將模型先前的推理反射回來，再要求其重新考慮）。

研究選取了GPT-4o、Gemini 2.5 Pro和Qwen3-VL-30B三個模型，在STAR基準測試的子集上進行了720次多輪執行實驗。結果顯示，從第0輪到第10輪，模型的總體準確率變化不大，但軌跡層面的分析揭示了顯著的內部不穩定性：正確的答案可能退化，錯誤的答案可能恢復，許多執行中出現反覆的答案翻轉。重複提示的收益有限，且往往成為不穩定性因素而非推理輔助。

不同模型表現出巨大的差異：Qwen3-VL-30B取得了最高的最終準確率，但在直接矛盾下會變得自信滿滿地給出錯誤答案；Gemini 2.5 Pro相對穩定，但消耗更多的token；GPT-4o則最為脆弱，表現出持續的振盪。這些發現表明，多輪VLM評估不僅捕捉到額外的推理能力，更重要的是揭示了模型在壓力下的響應模式——即模型如何在視覺基礎、校準和對話合規之間進行權衡。

該論文由Shayda Moezzi等五位作者於2026年5月1日提交，併釋出於arXiv，編號為2607.14099。研究屬於計算與語言（cs.CL）、人工智慧（cs.AI）和計算機視覺與模式識別（cs.CV）領域。這一工作對於部署VLM到實際應用場景具有重要意義，因為它揭示了模型在持續對話壓力下的脆弱性，為開發者選擇模型和設計互動系統提供了重要參考。