信念與現實分離存在於語言模型中對共享值槽的路由中
該論文揭示了語言模型如何區分角色的信念與現實。研究發現，這種分離基於兩個可分離的機制：一個通用值槽綁定屬性值，一個路由器根據查詢選擇讀取的框架。值槽可以通過兩種方式填充：直接斷言和基於可見性的推導。分離位於獨立的路由子空間中，而不是值槽本身。這些結果在多種架構中得到驗證，且該行為在3B至7B參數規模的模型中出現。
一項最新研究深入探討了大型語言模型如何在計算中分離角色的信念與現實。研究人員發現，這種分離依賴於兩個可分離的機制，分別位於計算的不同位置。首先，一個通用的“值槽”負責綁定屬性值，例如杯子的顏色。其次，一個“路由器”在查詢位置決定從哪個框架——角色的信念還是現實——讀取信息。
值槽的填充有兩種方式：當信念被直接陳述時，值會直接綁定；而當信念需要從角色能觀察到的信息推斷時，則通過一個由可見性控制的回溯機制填充。有趣的是，值槽本身並不攜帶信念或現實的標籤；對它的干預會同樣影響對現實和信念的讀取。真正的分離存在於一對獨立的路由子空間中，這些子空間可以在不同框架間切換查詢，而無需注入來源的值。
這一結果在三種不同的模型架構上得到驗證，且使用的刺激排除了常見心理理論基準中的捷徑。該行為在5個模型家族的3B至7B參數規模之間湧現。本論文深入探討了單一的信念-現實軸，而配套論文則顯示相同的“槽-路由器”格式也適用於句子打開的其他非現實上下文，如反事實、虛構和時間設定。
該研究的發現對於理解語言模型的內部工作機制具有重要意義，揭示了模型如何維持對角色信念和現實的多重表徵。研究團隊包括Oliver Steele等作者，論文細節包括21頁、6張圖和6張表，提交於2026年7月11日。