跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

MechELK:一種用於大型語言模型中潛在知識提取的機制可解釋性框架

文章摘要

新框架MechELK利用機制可解釋性從大型語言模型中提取隱藏知識。它結合了稀疏自編碼器、因果探針和表徵工程,實現了84.7%的準確率,超越了現有方法。該框架在模型給出錯誤或迴避性回答時尤其有效。

來源arXiv Computational Linguistics作者: Ji-jun Park, Soo-joon Choi, Jiwon Jeong, Taeyang Yoon, Ju-Wan Lee
MechELK:一種用於大型語言模型中潛在知識提取的機制可解釋性框架
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

大型語言模型(LLM)經常在其內部表示中編碼事實和推理知識,但這些知識並未在其表面輸出中忠實地反映出來——這種現象被稱為潛在知識。現有的方法,如對比一致性搜索(CCS),依賴於對比激活模式,在處理複雜的多步推理任務時存在困難,而機制可解釋性工具主要用於理解模型行為,而非提取隱藏知識。

本文提出MechELK,一個統一的三階段框架,橋接了機制可解釋性和潛在知識提取。MechELK通過以下步驟操作:(1)定位——使用稀疏自編碼器(SAE)特徵分析和激活修補來識別承載知識的表示;(2)驗證——採用因果探針來區分真正的潛在知識和虛假相關性;(3)提取——應用表徵工程在不修改模型權重的情況下浮現隱藏知識。

在TruthfulQA、一個精心策劃的Deceptive Alignment基準和Quirky LM數據集上評估,MechELK平均提取準確率達84.7%,比CCS高6.2%,比直接線性探針高9.1%。關鍵在於,在模型表面輸出錯誤或迴避的78.3%的情況下,MechELK成功識別出潛在知識,展示了其在AI安全應用中的實用性,包括檢測欺騙性對齊。

該工作由Ji-jun Park等人完成,提交於2026年4月7日,發表於arXiv。

展開要點與分析

文章情報

工程師進階

要點

  • MechELK是一個三階段框架(定位、驗證、提取),用於從LLM中提取潛在知識。
  • 平均提取準確率達到84.7%,優於CCS和線性探針。
  • 該方法在78.3%的表面輸出錯誤或迴避的情況下成功識別出潛在知識。
  • 對AI安全具有意義,包括檢測欺騙性對齊。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。