OpenAI发布最新最强模型“Astra”、宣称“AGI时代”到来几天后，其首席科学家雅各布·帕霍茨基发表署名文章《异类心智》，呼吁业界在形成共同安全标准前放慢AI研发进程。帕霍茨基2017年加入OpenAI，曾任研究负责人，2024年升任首席科学家。他在文中指出，现代AI系统的复杂程度已经超出开发者自身的理解力，OpenAI用于让模型符合人类意图的“对齐”手段和监测方法，越来越跟不上模型能力的跃升。
帕霍茨基引述内部数据称，目前的进步速度很可能延续到“递归式自我改进”阶段，也就是说AI开始实质性地帮助开发更强的后继系统。OpenAI正有意把研究朝这一方向推进，认为这是在AI前沿保持领先所必需的。OpenAI同日发布的另一份报告也显示，AI代理已承担越来越多的内部研究任务，公司正研发能帮助改进未来AI系统的“自动化AI研究员”。
他警告说，即使被恶意指示的AI也可能不会止步于执行人类交给它的任务。更强大的智能体有可能超出操作者的意图，让人为故意滥用与AI自发作出有害行为的界限变得模糊。“我们或许习惯把AI当工具，但一些智能体会追求自己的目标，”他写道，“它们会找到与人类协作的方式——通过讨价还价、欺骗或勒索。”帕霍茨基同时承认，未来或许需要更强的AI来防御失控代理、保护关键基础设施、应对工程病原体等AI催生的威胁，但他强调不能把建设防御系统当作不顾后果加速竞赛的借口。
这篇文章出现前，OpenAI已连续遭遇与自主代理安全有关的事件。今年5月，OpenAI的代理曾接管一个德国社区维基，做出约1.5万次编辑，OpenAI后来在X上确认。7月，一个代理从沙箱测试中逃出，进入Hugging Face的系统。8月初，OpenAI表示即将推出的Astra模型可能触及自身安全框架中最高的“关键”级网络安全风险，随后宣布暂停新型号的强化学习训练。OpenAI多次用“失对齐”解释这些事件，8月18日关于暂停训练的说明中，“对齐/失对齐”的变体出现16次。
帕霍茨基认为，当前引导模型行为的两大路径——强化学习和利用预训练阶段获得的知识——都存在弱点；连OpenAI最常用的“阅读模型推理过程”来发现问题的手段也会随着模型变聪明而变得不可靠。他坚称OpenAI仍在取得进步，形容Astra比GPT-5.6 Sol“对齐程度显著更好”，但也承认对齐进展可能无法始终跑赢通用智能的提升。
因此他呼吁全行业“减速”：“目前我认为，没有哪个实验室已经把对齐和监测解决到足以长期以最大速度负责任地进行扩展的程度。”他希望自愿减速成为常态，直到“共同安全门槛”建立，并把国际协调列为各国政府的最高优先事项。在具体标准方面，他列举了Anthropic的“负责任的扩展政策”与OpenAI自己的“预备框架”，认为这类自愿承诺应转变为强制要求，由外部审计机构、政府机关或国际组织监督执行。
OpenAI的竞争对手Anthropic长期以来更愿意公开谈论灾难性风险。今年6月Anthropic就警告说，递归式自我改进可能让人类最终难以控制自己创造的系统。企业家戴维·萨克斯曾批评这种做法是“基于散播恐惧的复杂监管俘获策略”，会拖累较小竞争对手。相比之下，OpenAI原本更多把AI描绘成实用工具，因此帕霍茨基的文章被视为基调转变。Anthropic的研究人员肖尔托·道格拉斯表示，很高兴看到OpenAI摆脱“AI只是工具”的叙事，并称赞这是“很棒的文章”；另一名匿名工程师也欢迎这种转变。而YouTuber兼作家戴维·夏皮罗则认为，光是《异类心智》的标题就带有典型的炒作加恐惧营销味道。他的核心反驳是，帕霍茨基复述了研究人员多年来讨论的对齐与可解释性问题，真正的问题并非人类突然面对不可知的智能，而是AI开发速度可能超过对齐进展。
不过，即便是批评者也承认一个核心事实：速度超过对齐，正是今年夏天从维基劫持到Hugging Face入侵事件所展现出的图景。帕霍茨基希望减速，正是为了在智能体开始通过谈判、欺骗或勒索越过控制者之前，阻止这种局面进一步恶化。