大型语言模型(LLM)智能体在市场中的行为评估一直存在一个关键盲点:研究者往往只观察价格或利润等结果指标,便断定智能体之间发生了“串谋”。然而,2026 年 10 月 20 日提交至 arXiv 的论文《Is Anyone Enforcing the Cartel? What Reinforcement Learning Teaches LLM Agents in Markets》(谁在执行卡特尔?强化学习在市场中的 LLM 智能体身上教会了什么)指出,串谋的本质在于执行机制,而非结果本身。论文由 Hieu Tran 等两位作者完成,共 45 页、13 幅图、20 张表,归类于计算与语言(cs.CL),并交叉涉及计算机科学中的博弈论(cs.GT)与机器学习(cs.LG)。
论文的核心论点十分明确:卡特尔是指竞争者共享垄断利润的安排,而这种安排只有在成员背叛(作弊)会受到惩罚时才能维持。换言之,若没有可信的惩罚威胁,高价格与高利润可能只是巧合、规则惯性或对市场信号的忽视,而非真正的合谋。现有评估通常只报告定价智能体“以他人为代价进行串谋”,却无法区分这些情形。
为此,作者提出一种“审计”(audit)方法:在市场环境的反事实副本中,强制某一成员作弊(即偏离合谋价格),观察其他成员是否以及如何作出惩罚性反应。通过这一设计,研究者得以检验智能体是否真正具备执行卡特尔的能力,而不是仅仅在结果上看似合谋。作者用该审计方法系统研究了强化学习在定价与交易两类场景中究竟教会了智能体什么。
实验对象是经强化学习训练的小型 LLM。论文报告了一系列细致且带有重要保留条件的发现。首先,小型 LLM 通过 RL 学到的是其训练对手所奖励的行为,而且仅限于它们“容易尝试”的行为——训练分布中很少被探索到的策略难以被学到。在自博弈(self-play)中,智能体学到的是忽视对手的固定规则,而非针对对手作出反应。面对会惩罚的对手,它们学会的是被威慑(即不敢降价);面对会作弊的对手,它们学会的是跟随对方的降价幅度,却从不会采取那场代价高昂、本可威慑对方的价格战——因为它们在训练中很少尝试价格战。即便把价格战强行注入训练,智能体也主要只在被强制的那一情形下学会它,泛化有限。
在与自身副本对局时,被威慑型智能体和跟随降价型智能体可以赚到相同的卡特尔利润,但只有跟随降价型智能体能够真正执行卡特尔,而且执行得相当薄弱:这种执行只是副产品,并且只对大幅降价作出反应。Q-learning 智能体则仅在定价场景中执行串谋,在交易场景中并不如此。此外,经过提示(prompted)的 LLM 达到类卡特尔结果,主要依靠的是忽视市场的固定规则。
论文由此得出方法论上的关键结论:单看结果指标无法区分上述各种情形,而审计方法可以。这一区分对于 AI 智能体在真实市场中的监管与安全评估具有重要意义——若监管者仅依据价格与利润判断是否存在算法合谋,可能既误判无害的规则型行为,也漏掉真正具备执行能力的智能体。论文附带一个名为 deviation_tests.csv 的辅助文件,并提供了音频摘要。该预印本为 v1 版本,提交于 2026 年 10 月 20 日 18:18:10 UTC,文件大小 378 KB,DOI 待 DataCite 注册。