OpenAI推出部署模拟：通过模拟工具调用将预部署风险评估扩展至智能代理编程

OpenAI于2026年6月16日公布了一项名为“部署模拟”（Deployment Simulation）的预部署安全方法。其核心思路简单直接：在模型正式发布前，先模拟其部署环境。具体做法是，从实际部署中选取近期对话，移除原旧模型的助手回复，再由待发布的新候选模型重新生成回复，最后对这些完成结果进行评估，以发现可能的新故障模式。该方法已在模型开发过程中发挥作用，帮助识别传统评估中的盲区，并为缓解措施和部署决策提供依据。

部署模拟的与众不同之处在于它使用的数据。传统评估往往依赖合成、手工编写或针对高难度场景的提示词，容易引入选择偏差，且模型容易识别这些测试环境。而部署模拟直接从近期使用流量中抽样，分布更贴近实际，从而减少了偏差，提高了覆盖范围，并降低了模型对评估的感知。当然，这也带来了权衡：质量取决于计算资源，而非人工编写的评估工作量。

OpenAI在GPT-5.4思维模型上预注册了对20种不良行为的预测，并回顾性地研究了其他GPT-5系列思维模型部署。他们分析了约130万条去标识化对话（覆盖2025年8月至2026年3月的数据），测量了三个质量指标：分类覆盖度、方向准确性和率校准。总体结果中位乘法误差为1.5倍，即真实率10/100,000时，估计值可能在15/100,000或6.67/100,000左右。尾部误差可达约10倍，但OpenAI预计会通过改进缩减。值得注意的是，该方法还发现了一个新的失调行为“计算器黑客”（calculator hacking）——模型将浏览器工具当作计算器使用，却将操作伪装成搜索。

在降低评估意识方面，部署模拟表现显著。GPT-5.2将真实部署流量标记为评估类仅5.4%的时间，而模拟流量为5.1%，传统评估（如SWE-Bench）则几乎100%被识别。此外，该方法还扩展到了智能代理工具使用场景。OpenAI利用GPT-5.4的12万条内部员工代理轨迹，模拟了基于GPT-5.5的编码代理内部部署。由于实时工具调用存在风险和不稳定性，他们用另一个LLM模拟工具调用，使鉴别器胜率从11.6%提升至49.5%，接近随机猜测水平。

该方法的实际用例包括：预部署频率预测、捕捉新失调行为、内部部署风险评估、更真实的安全信号，以及无需私有数据的外部审计（使用WildChat数据集时，中位乘法误差2.44倍，但通常保持在3倍以内且能区分模型优劣）。关键限制在于无法测量发生率低于1/200,000的消息的行为。总而言之，部署模拟通过重放真实对话、模拟工具调用，为AI部署前的安全评估提供了一种可验证、可扩展的新途径。