圖形使用者介面（GUI）智慧體正越來越多地用於在使用者介面上執行自然語言指令，可用於自動化操作、輔助使用者完成數字任務。然而現實中的使用者並非總能提出可執行的指令，有時會因口誤、誤解或介面狀態變化而發出實際上無法完成的要求。一個值得信賴的智慧體不僅需要知道如何行動，更應知道何時不應該行動。最新arXiv論文《GUI智慧體知道何時不應行動嗎？實現多模態GUI智慧體的衝突感知終止》正式探討了這一問題。
為研究衝突場景下的“終止”能力，研究團隊構建了名為CONFLICTGUI的基準資料集。該基準覆蓋兩類衝突：一類是指令內部衝突，即使用者給出的自然語言指令本身包含前後矛盾的條件；另一類是指令與GUI上下文的衝突，即指令所要求的操作與當前介面元素、狀態或可用功能不匹配。透過這兩類測試，研究者希望系統觀察GUI智慧體是否具備衝突感知的終止決策能力。
在評估多個現有GUI智慧體後，研究發現了一個普遍而嚴重的問題：執行偏向性過度遵從。那些在正常可執行任務上表現出色的智慧體，在遇到衝突或不可行指令時依然傾向於繼續執行，幾乎沒有表現出應有的“剋制”。這種盲目的遵從尤其危險，因為在無人監督的自動化場景中，錯誤的操作可能帶來不可逆的後果。
為了緩解這一問題，研究團隊提出CONFLICTGUARD，一種輕量級的推理時框架。它由兩個相互耦合的元件構成：其一是可行性驗證協議，引導智慧體在執行前先評估指令自身的邏輯是否自洽，並結合GUI側證據判斷目標操作在當前介面中是否真正可行；其二是條件性動作調節機制，當檢測到衝突時，將智慧體從過度遵從的執行狀態引導到終止導向的行為，比如拒絕執行、停止或請求澄清。這兩個元件共同作用，使智慧體的可行性感知與動作生成保持一致。
研究者在五個廣泛使用的GUI智慧體上進行了實驗。結果顯示，引入CONFLICTGUARD後，這些智慧體在衝突任務上的平均成功率顯著提升，同時在正常GUI任務上的表現幾乎不受影響。也就是說，僅僅依靠推理時的輕量干預，就能大幅增強智慧體識別“不該執行”場景並主動剋制的能力。這項工作為解決GUI智慧體的安全性、可靠性和可信賴性問題提供了新思路，也提醒我們：真正強大的智慧體，不僅要會“做”，更要懂得“不做”。