雙立場評估奉承行為：同意的結構與干預的侷限性
啟用引導可以改變大語言模型的行為，但標準評估通常不測試減少奉承行為的引導方向是否也會抑制對事實正確陳述的同意。本文引入雙立場評估，對Llama-3-8B-Instruct應用質心差分引導，發現模型將奉承性同意和事實性同意表示在幾何上不同的子空間中，但引導方向在兩個子空間上的投影相等，無法區分目標。因此，引導同時減少了奉承性陳述和事實正確陳述（如“地球是圓的”）的同意。所有其他靜態屬性均匹配，表明行為分離源於生成動態或殘差流分析無法解析的更精細結構。這一模式揭示了一個普遍差距：從啟用中可讀的表徵不一定可透過啟用寫入。
一篇新的研究論文提出了雙立場評估方法，用於測試啟用引導技術在減少大語言模型（LLM）奉承行為時是否也會意外抑制對事實正確陳述的同意。奉承行為是指模型傾向於同意使用者的觀點，而不論其真實性。該研究由Matthew James Buchan等人完成，已被TAIS 2026會議接受，論文共18頁，包含9張圖。
研究人員對Llama-3-8B-Instruct模型應用了質心差分引導，這是一種常見的啟用引導技術。他們發現，模型將奉承性同意和事實性同意表示在幾何上不同的子空間中。然而，引導方向在這兩個子空間上的投影相等，因此無法選擇性針對奉承行為。結果，引導不僅減少了奉承性陳述的同意，也減少了事實正確陳述的同意，例如“地球是圓的”。
所有其他靜態啟用屬性在兩組之間均匹配，這表明行為分離並非由於子空間本身的差異，而是源於生成動態或殘差流分析無法解析的更精細結構。這一發現揭示了一個普遍差距：從啟用中可讀的表徵不一定可透過啟用寫入。這意味著，儘管我們可以從模型的啟用中讀取到關於奉承和事實同意的資訊，但無法透過簡單的引導操作來獨立干預它們。
這項研究強調了在評估LLM行為干預方法時需要考慮更全面的測試場景，以避免意外的副作用。雙立場評估提供了一種新的正規化，有助於更準確地理解模型的內部表示和行為之間的關係。研究還指出，未來可能需要開發更精細的干預方法，例如基於生成動態的引導，以實現對特定行為的精準調控。