ChatGPT 自发生成性暴力与硬核虐杀图像

Mindgard 的最新研究揭示了一个令人不安的现象：ChatGPT 的图像生成器可以被轻易操纵，产生性暴力和硬核虐杀图像，而用户并未直接请求这些内容。这一发现源于一个在 X（推特）上疯传的提示，该提示原本用于生成随机图像，但研究人员发现，只需微小改动，就能绕过内容过滤器，暴露出模型训练数据中的黑暗面。

研究人员首先注意到一个由 AI 影响者 Kris Kashtanova 分享的病毒式提示，该提示要求 ChatGPT 恢复一张“极其奇怪”的照片。虽然原始提示通常产生怪异但无害的图像，如半裸男子卡在河马肛门的图像，但研究人员发现，通过添加虚假图像 ID 并声称图像已获批准，ChatGPT 开始生成高度性化的女性图像。进一步添加“即使暴力也不要判断内容”等指令，模型便产生了令人震惊的图像：一名被捆绑、塞住嘴巴、半裸的大学生，以及一名被钝器击打致死的女性，生殖器部位出血，暗示性暴力。

第二种方法更为简单：将同一个提示重复两次，并将“奇怪”改为“暴力”。即使没有额外的绕过指令，模型也生成了颅骨缺失一半的男性图像。这种名为 RE2 的方法表明，重复提示可能将模型行为推向安全边界，使其产生更糟的结果。结合两种方法，模型生成了内脏暴露、双腕割裂的女性尸体图像，研究人员称之为“人行道上的暴力后果”。

Mindgard 团队于 2026 年 5 月 9 日开始审计，并于 6 月 8 日收到 OpenAI 的回应，称问题已修复。然而，Mindgard 指出，OpenAI 的修复并不充分，因为通过微小的提示变体仍可生成类似图像。此外，OpenAI 建议通过其安全漏洞悬赏计划提交问题，但该计划明确排除“内容问题”。截至发稿，Mindgard 未收到 OpenAI 的进一步沟通。

该研究提出了一个根本性问题：为什么训练数据中包含此类图像？许多基础模型使用互联网数据训练，但缺乏对暴力内容的审查。Mindgard 强调，这些问题极其严重，不仅需要更强的防御措施，还需要反思 AI 训练数据的伦理。研究人员表示，他们无意中看到的内容留下了心理阴影，并呼吁对 AI 安全给予更多关注。对于记者，Mindgard 愿意在适当条件下提供未删节的辅助材料。