LLM能內省嗎？現實檢驗

一項新近發表的研究對大型語言模型（LLM）是否具備真正的內省能力提出了嚴峻挑戰。儘管此前有多項研究聲稱LLM能夠檢測並報告自身的內部狀態，但來自人類元認知研究的教訓表明，這一結論可能過於倉促。研究者認為，要確證內省能力，必須區分真正的內省和基於表面線索的模式匹配，而僅憑行為證據遠遠不足以支持強內省主張。

該研究重新審視了兩種被廣泛引用的評估範式。在第一種範式中，模型被要求檢測其內部狀態是否被篡改。實驗發現，模型無法可靠地區分內部狀態干預和輸入操縱，這意味着它們在原研究中的成功反映的是一種更一般的異常檢測能力，而非專門針對內部狀態的感知。換句話説，模型可能只是在檢測輸入中的異常模式，而不是真正感知到內部表示的變化。

第二種範式讓模型預測由自身隱藏狀態衍生出的標籤。結果非常引人注目：僅能訪問輸入的分類器達到了與模型自身上下文預測完全相當的性能。這表明模型並沒有對其內部表示擁有任何特權訪問，其預測能力完全可以從輸入中推導出來。為進一步驗證，研究者引入了一個重新標記的控制任務，迫使模型無法依賴任務語義，而必須依賴內部表示。在這種更嚴格的設定下，模型的表現幾乎接近隨機水平。

綜合這些實驗結果，當前所有證據都不足以證明LLM展現出真正的元認知監控能力。該研究強調，未來的探索需要更加嚴謹的實驗設計，以區分真正的內省與表面模式匹配。這項研究不僅對理解LLM的能力邊界具有重要意義，也為未來設計更可靠的AI系統提供了指導。