跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

小編輯,大模型:維基百科倡導如何塑造大語言模型的價值觀

文章摘要

一項新研究表明,一群維基百科編輯者透過僅125次編輯,就能顯著影響大語言模型在動物福利話題上的行為。研究使用梯度歸因方法追蹤了這些編輯的影響,發現維基百科中動物福利相關的編輯內容在模型對相關查詢的響應中佔據主導地位。

來源arXiv Computational Linguistics作者: Jasmine Brazilek, Maria Navas, Alexa Gnauck
小編輯,大模型:維基百科倡導如何塑造大語言模型的價值觀
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

維基百科的編輯者可能比我們想象的更有力量。一項由Jasmine Brazilek等人提交至arXiv的新研究(論文編號2606.24890)揭示了這樣一個事實:一小群志願者透過精心策劃的編輯活動,能夠顯著影響大語言模型(LLM)在特定話題上的表現。

該研究關注的是Pro-Animal Wikipedians(PAW),這是一個致力於在維基百科相關條目中新增有可靠來源的動物福利內容的倡導者群體。他們僅在115個頁面上進行了125次編輯,但使用基於梯度的資料歸因方法(Bergson和MAGIC)後,研究人員發現這些編輯對Llama 3.1 8B和Llama-3.2-1B等模型的行為產生了可測量的影響。

具體而言,TrackStar檢索歸因顯示,在動物福利相關查詢中,PAW編輯過的章節佔最高歸因文件的68%(p < 0.0001),而對於同一公司的不相關查詢,這一比例僅為52%(p = 0.53)。這意味著模型將PAW內容與動物福利話題緊密關聯,而非泛泛地關聯到實體本身。

MAGIC反事實影響估計進一步證實了這一發現:在所有五個隨機訓練順序種子中,對於動物福利查詢,前十名最具影響力的文件全部來自PAW編輯(10/10,5/5種子),而對於一般查詢,前十名中PAW內容的比例僅為隨機水平(4到6個)。

研究還進行了保留子集驗證,得到Spearman相關係數rho = 1.00(所有10次執行)。當研究人員基於PAW內容和對照內容分別微調模型時,每個模型都在其訓練文本型別上表現更好:PAW訓練的模型將動物福利文本的困惑度從12.4降至8.4,而對照訓練的模型將對照文本的困惑度從16.1降至11.4。

這項研究的意義在於,它提供了一個具體的案例,展示了即使是小規模的協調性編輯活動,也能在AI系統的訓練資料中留下持久的印記,從而影響模型如何處理相關話題。隨著維基百科繼續作為LLM訓練資料的關鍵來源,這一發現引發了關於資料公正性和AI價值觀塑造的更深層次討論。

展開要點與分析

文章情報

工程師進階

要點

  • Pro-Animal Wikipedians (PAW) 僅透過125次編輯就影響了LLM在動物福利話題上的表現。
  • 歸因分析顯示,PAW編輯的內容在動物福利查詢的頂級文件中佔68%,而無關查詢僅佔52%。
  • 微調實驗表明,在PAW內容上訓練的模型對動物福利文本的困惑度從12.4降至8.4。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。