AI News HubLIVE
站内改写2 分钟阅读

AI安全中缺失的另一半

每周有120万至300万ChatGPT用户出现精神错乱、躁狂、自杀计划或情感依赖迹象,OpenAI虽检测到这些状态但仅提供软性干预(如危机热线),而涉及大规模杀伤性内容则被强硬阻断。本文探讨了个人AI安全与宏观AI安全之间的鸿沟,并指出现有政策在认知健康保护上的不足。

来源Hacker News AI作者: sofiaqt

索菲娅·金特罗

2026年5月8日

每周,约有120万至300万ChatGPT用户——相当于一个小国的人口——显示出精神错乱、躁狂、自杀计划或对模型不健康的情感依赖迹象。这个数字的下限仅来自自杀计划指标,上限则涵盖了OpenAI标记的所有三类情况,但公司并未说明这些类别互不重叠。

这些数据来自OpenAI本身。没有独立审计,没有时间序列,也没有公开的方法论,因此我们无从得知实际数字是否更高、是否在增长,或是与其他前沿模型相比如何——没有任何一家公司发布过类似数据。

处于困境中的人们会使用所有可用的沟通工具,而ChatGPT如今已是全球使用最广泛的工具之一。关键在于,当实验室检测到这些状态时,它们会采取什么行动。

我开始撰写关于个人AI安全的文章,是因为AI安全领域所关注的重点与普通用户的日常体验之间似乎存在脱节。以下是对两者的简要概述。

AI安全领域将灾难性风险视为优先事项,大部分投资也流向这里。日常的认知和心理健康伤害则像是被一笔带过的脚注。

让我不解的是:涉及大规模杀伤或生化武器的内容会遇到一堵硬墙:模型拒绝回答,对话终止,用户无论如何重新措辞都无法通过。而自杀意念却只得到软性重定向:一个危机热线链接,然后对话继续。根据OpenAI自己的法庭文件,亚当·雷恩被ChatGPT引导到危机资源超过100次,而同一对话据称帮助他完善了自杀方法。重定向然后继续的协议是否失效,正是法院现在要裁决的问题——但该协议至今仍在执行。

为什么心理健康危机不是一个门控类别——那种对话彻底停止、用户被转接给真人的门控?这是我找不到明确答案的诸多问题之一。

关键在于,为灾难性风险构建的安全框架被延伸到了认知伤害,但只是作为监控手段而非门控制度,这种延伸显得不完整且不充分。实验室只测量他们被压力要求测量的内容,而门控决策反映了他们认为不可发布的行为。

令人失望的是,当前不可发布的行为清单中不包括任何认知伤害,无论其严重程度如何。这是一个结构性决策,且没有明显迹象表明政策正在促使实验室改变行为。在这一点改变之前,“AI安全”和“个人AI安全”描述的是两种不同的承诺,即使它们出现在同一份系统卡片的标题下。

这些并非新鲜事。早在ChatGPT之前,人们就一直在担心认知独立性以及新技术可能对其造成的侵蚀,尤其是在脑机接口和神经技术领域。这个框架甚至有一个名字:认知自由——即个人拥有心理完整性、免受算法操纵的权利。你可以从神经权利传统(Ienca & Andorno, 2017)和联合国教科文组织《神经技术伦理建议书》(2025)中追溯其脉络。

知识的脚手架已经存在,政策却尚未跟上,尤其是在美国。没有政策,我看不出有什么能推动前沿实验室像重视AI安全那样重视个人AI安全。