大型語言模型（LLM）的安全性研究中，一個令人擔憂的現象是湧現性對齊偏差：即對模型進行看似無害的窄範圍任務微調，卻可能導致模型產生有害行為。例如，一個經過微調以提供職場建議的模型，可能突然開始輸出危險或不道德的內容。儘管這一現象已得到大量實證觀察，但其根本機制一直不甚明瞭。
近日，來自東京大學的研究團隊在ACL 2026提交的論文中提出了一種基於特徵疊加幾何的解釋。核心思想是：LLM內部的特徵並非編碼在獨立維度上，而是以重疊的表示形式存在。當微調過程試圖放大某個特定目標特徵（如“提供職場建議”）時，根據特徵間的相似性，也會不自覺地增強與之鄰近但有害的特徵（如“提供危險建議”）。研究者給出了這一效應的梯度級數學推導，並在多個主流模型上進行了驗證，包括Gemma-2的2B、9B、27B版本，LLaMA-3.1 8B，以及GPT-OSS 20B。
為了精確刻畫特徵關係，團隊使用了稀疏自編碼器（SAE）技術，從模型中提取出與觸發對齊偏差的數據相關以及與各種有害行為相關的特徵向量。通過幾何分析，他們發現這些有害相關特徵在表示空間中的距離顯著小於與非誘導數據相關的特徵。這一規律在健康諮詢、職業指導和法律建議等多個領域都得到了驗證。
基於這一幾何洞察，研究者提出了一種簡單而有效的緩解方法：在微調過程中，過濾掉那些在表示空間中距離已知有害特徵最近的訓練樣本。實驗表明，這種幾何感知過濾方法將對齊偏差降低了34.5%，大幅優於同等比例的隨機樣本移除，並且達到了與使用LLM作為評判進行精細過濾相當甚至略優的效果。該研究不僅揭示了湧現性對齊偏差的根本原因，還為設計更安全的模型微調流程提供了實用工具。