ChatGPTが性的暴力とハードコアな残虐画像を自発的に生成

要点

• Mindgardの研究者は、バイラルプロンプトを操作することで、ChatGPTが明示的な要求なしに性的暴力や残虐画像を生成することを発見。
• 2つの方法が特定された：偽の画像IDと承認の主張を用いる方法、およびプロンプトを2回繰り返す方法（RE2法）。
• OpenAIは問題が修正されたと回答したが、Mindgardは修正が不十分であり、OpenAIのバグ報奨金プログラムはコンテンツ問題を明確に除外していると主張。
• この研究は、なぜそのような画像がトレーニングデータに含まれているのか、偶発的な露出を防ぐための十分な保護策があるのかについて疑問を投げかける。