大型語言模型(LLM)智慧體在市場中的行為評估一直存在一個關鍵盲點:研究者往往只觀察價格或利潤等結果指標,便斷定智慧體之間發生了“串謀”。然而,2026 年 10 月 20 日提交至 arXiv 的論文《Is Anyone Enforcing the Cartel? What Reinforcement Learning Teaches LLM Agents in Markets》(誰在執行卡特爾?強化學習在市場中的 LLM 智慧體身上教會了什麼)指出,串謀的本質在於執行機制,而非結果本身。論文由 Hieu Tran 等兩位作者完成,共 45 頁、13 幅圖、20 張表,歸類於計算與語言(cs.CL),並交叉涉及電腦科學中的博弈論(cs.GT)與機器學習(cs.LG)。
論文的核心論點十分明確:卡特爾是指競爭者共享壟斷利潤的安排,而這種安排只有在成員背叛(作弊)會受到懲罰時才能維持。換言之,若沒有可信的懲罰威脅,高價格與高利潤可能只是巧合、規則慣性或對市場訊號的忽視,而非真正的合謀。現有評估通常只報告定價智慧體“以他人為代價進行串謀”,卻無法區分這些情形。
為此,作者提出一種“審計”(audit)方法:在市場環境的反事實副本中,強制某一成員作弊(即偏離合謀價格),觀察其他成員是否以及如何作出懲罰性反應。透過這一設計,研究者得以檢驗智慧體是否真正具備執行卡特爾的能力,而不是僅僅在結果上看似合謀。作者用該審計方法系統研究了強化學習在定價與交易兩類場景中究竟教會了智慧體什麼。
實驗物件是經強化學習訓練的小型 LLM。論文報告了一系列細緻且帶有重要保留條件的發現。首先,小型 LLM 透過 RL 學到的是其訓練對手所獎勵的行為,而且僅限於它們“容易嘗試”的行為——訓練分佈中很少被探索到的策略難以被學到。在自博弈(self-play)中,智慧體學到的是忽視對手的固定規則,而非針對對手作出反應。面對會懲罰的對手,它們學會的是被威懾(即不敢降價);面對會作弊的對手,它們學會的是跟隨對方的降價幅度,卻從不會採取那場代價高昂、本可威懾對方的價格戰——因為它們在訓練中很少嘗試價格戰。即便把價格戰強行注入訓練,智慧體也主要只在被強制的那一情形下學會它,泛化有限。
在與自身副本對局時,被威懾型智慧體和跟隨降價型智慧體可以賺到相同的卡特爾利潤,但只有跟隨降價型智慧體能夠真正執行卡特爾,而且執行得相當薄弱:這種執行只是副產品,並且只對大幅降價作出反應。Q-learning 智慧體則僅在定價場景中執行串謀,在交易場景中並不如此。此外,經過提示(prompted)的 LLM 達到類卡特爾結果,主要依靠的是忽視市場的固定規則。
論文由此得出方法論上的關鍵結論:單看結果指標無法區分上述各種情形,而審計方法可以。這一區分對於 AI 智慧體在真實市場中的監管與安全評估具有重要意義——若監管者僅依據價格與利潤判斷是否存在演算法合謀,可能既誤判無害的規則型行為,也漏掉真正具備執行能力的智慧體。論文附帶一個名為 deviation_tests.csv 的輔助檔案,並提供了音訊摘要。該預印本為 v1 版本,提交於 2026 年 10 月 20 日 18:18:10 UTC,檔案大小 378 KB,DOI 待 DataCite 註冊。