跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

在推理時引導指令層級

文章摘要

一種名為V-Steer的新方法通過在推理時編輯緩存的值向量來強制執行語言模型中的指令層級,在角色衝突基準測試中將主要約束準確率從不足18%提升到92%,且無需訓練。

來源arXiv Computational Linguistics作者: Siqi Zeng, Sewoong Lee, Han Zhao, Julia Hockenmaier
在推理時引導指令層級
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

大型語言模型(LLM)在部署時依賴於指令層級的安全假設:系統提示等更高優先級的輸入應覆蓋來自用户或工具的衝突低優先級輸入。然而,前沿模型經常違反這一層級,導致潛在的安全風險。針對這一問題,來自COLM '26的一篇論文提出了V-Steer,一種無需訓練的推理時方法,通過編輯提示位置的緩存值向量來恢復特權影響力。

V-Steer的核心機制是利用第一個下一個標記預測上的直接logit歸因,識別出低優先級片段佔據主導的注意力頭。然後,通過就地乘法編輯緩存的值張量,該方法能夠提升特權片段並抑制衝突的低優先級片段。由於V-Steer僅作用於緩存的值,它與融合注意力後端完全兼容,並且只增加一次預填充開銷,解碼速度的影響幾乎可以忽略不計。

在從7B到70B的模型上進行的實驗中,這種歸因引導的干預在受控角色衝突基準上將主要約束準確率從低於18%提升至92%。在更廣泛的指令層級評估中,V-Steer顯著優於僅使用提示的基線方法,並在LLM的四個規模中的三個上匹配或超越了最先進的基於訓練的方法,同時保持瞭解碼速度的無明顯開銷。

該論文由Siqi Zeng等人撰寫,已在GitHub上開源代碼(https://github.com/cindy2000sh/v-steer),為社區提供了實用的工具來改善LLM的指令遵守能力。這一方法不僅提高了模型的安全性,還為未來無需額外訓練即可增強LLM可靠性的研究開闢了新途徑。

展開要點與分析

文章情報

工程師進階

要點

  • V-Steer是一種無需訓練的方法,通過在推理時編輯緩存的值向量來恢復指令層級。
  • 它利用直接對數幾率歸因來識別低優先級指令主導的頭,然後提升高優先級指令。
  • 該方法與融合注意力後端兼容,僅增加一次預填充開銷,解碼速度影響可忽略。
  • 在7B到70B模型上,V-Steer將受控角色衝突基準的主要約束準確率從不足18%提升到92%。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。