優化並非萬能
本文批判了人工智能中的優化文化,指出優化過程雖然能衡量文本的不可預測性,但無法區分錯誤與創新。儘管如此,優化已在短短五年內取代了傳統機構,掌握了定義合法語言權威的地位。
2026年,Minh Hua與Rita Raley在論文《優化並非萬能》中,對人工智能領域盛行的優化文化進行了深刻批判。該論文即將發表於MFS Modern Fiction Studies(約翰霍普金斯大學出版社,2027年春夏季刊),arXiv編號2607.11977v1,主題涵蓋人工智能(cs.AI)與計算語言學(cs.CL)。文章以OpenAI在2019年發佈的兩百萬條GPT-2輸出為引子——這些輸出語法不完整、半成品化,旨在幫助檢測機器生成文本。當時OpenAI出於安全考慮先以受限方式發佈GPT-2,隨後公開完整模型,並釋放這些輸出作為檢測工具。論文指出,後來通過對齊技術(如RLHF)產生的更流暢模型(如GPT-3、GPT-4等)通常被視為工程勝利,但作者卻將其解讀為優化文化的最新表現。這種文化相信,沿着預設軸線的可量化改進已經涵蓋了價值的所有問題,而這一信念實際上比技術本身更為古老。
作者追溯了這種信念從預訓練、解碼、偏好調整、基準測試到界面的技術棧。在預訓練階段,模型通過海量文本學習語言概率分佈,優化目標是最大化下一個詞的預測準確性;解碼過程則基於似然選擇輸出,貪婪搜索或束搜索進一步強化了概率優先原則;偏好調整(如RLHF)將人類反饋轉化為獎勵信號,優化模型輸出以符合某些偏好;基準測試(如GLUE、SuperGLUE、MMLU)定義了性能標準,引導研究向特定指標集中;界面上,用户通過系統提示設定語境,進一步規範輸出。每一步都體現了優化思維:將複雜判斷簡化為可量化的指標。作者進一步回溯了這種文化在審計社會中的譜系,從19世紀的統計社會學,到20世紀的企業管理、教育評估,再到當代的量化自我運動,優化思維已滲透到社會各個角落。
然而,論文揭示了優化的極限:一個優化過程可以衡量一段生成文本的不可預測程度,但無法判斷這種不可預測性是錯誤還是創新。例如,一個優化程序可能將一句新穎的文學表達視為低概率(因而不可接受),但人類讀者卻可能認為它是天才的創造。這種區分的缺失,在高風險場景(如醫療、法律、學術寫作)中可能導致嚴重錯誤。更為關鍵的是,在不到五年內,這些缺乏判斷能力的程序已經掌握了定義合法語言的權威。過去,學院、教室、語法學家和考官決定什麼是正確的;如今,損失函數、獎勵模型、基準測試和系統提示扮演了這一角色。這一轉變意味着,語言的標準從人類智慧轉向了統計模式,而統計模式本身無法理解語言的價值。論文標題“優化並非萬能”正是對這一現狀的警示:優化是強大的工具,但不應成為價值的唯一尺度。論文在技術社區引起廣泛討論,提醒研究者重新反思優化的侷限性。