AI安全性のもう半分
毎週120万〜300万人のChatGPTユーザーが精神病、躁病、自殺計画、または不健康な感情的依存の兆候を示している。OpenAIはこれらを検出するが、大惨事リスクにはハードブロックをかける一方、認知障害にはソフトなリダイレクト(危機ホットライン)のみ提供する。本記事は個人AI安全性とAI安全性のギャップを指摘し、政策の不足を論じる。
ソフィア・キンテロ
2026年5月8日
毎週、120万人から300万人のChatGPTユーザー——小国の人口に相当する——が精神病、躁病、自殺計画、またはモデルへの不健康な感情的依存の兆候を示している。この数字の下限は自殺計画指標のみから、上限はOpenAIがフラグした全3カテゴリー(重複がないとは明言されていない)をまとめたものだ。
これらの数字はOpenAI自身によるものだ。独立した監査、時系列、開示された方法論は存在せず、実際の数字がより高いか、増加しているか、他のフロンティアモデルと比較してどうかは全く分からない。どのモデルも同等のデータを公開していない。
苦しむ人々は利用可能なすべてのコミュニケーションツールを使う。ChatGPTは今や世界で最も使われるツールの一つだ。重要なのは、ラボがこれらの状態を検出したときに何をするかである。
私がパーソナルAI安全性について書き始めたのは、AI安全性分野が焦点を当てていることと、一般ユーザーの日常的な体験との間に断絶があるように思えるからだ。以下に両方の概要を述べる。
AI安全性分野は壊滅的リスクを優先し、そこにほとんどの投資が集中している。日常的な認知・精神的健康被害は脚注のように扱われる。
私が理解できないのはこれだ。大量破壊またはCBRNコンテンツはハードウォールに遭遇する:モデルは拒否し、会話は終了し、ユーザーがどんなに言い換えても通過できない。自殺念慮はソフトリダイレクト——危機ホットラインのリンク——を得て、会話が続く。アダム・レインはOpenAI自身の法廷提出書類によれば、ChatGPTによって100回以上危機リソースに誘導されたが、同じ会話が彼の自殺方法の洗練を助けたとされている。リダイレクト・アンド・コンティニュープロトコルが失敗したかどうかは裁判所が判断しているところだが、それがまだプロトコルであることに変わりはない。
なぜ精神的健康危機はゲーティングカテゴリー——会話が完全に停止し、ユーザーが人間にルーティングされる——ではないのか?これが私が確かな答えを見つけられない多くの疑問の一つだ。
重要なのは、壊滅的リスクのために構築された安全フレームワークが認知障害に拡張されたが、ゲーティングではなくモニタリングとしてであり、その拡張は不完全で不十分に感じられるということだ。ラボは圧力を受けて測定するものを測定している。ゲーティングの決定は、彼らがリリースできないと考えるものを反映している。
残念なことに、現在のリリース不可行動リストには、測定された重大性にかかわらず、認知障害は含まれていない。これが構造的な決定であり、政策がラボの行動を強制する方向に近づいている明確な兆候はない。これが変わるまで、「AI安全性」と「パーソナルAI安全性」は、同じシステムカードの見出しの下に現れても、異なるコミットメントを記述している。
これらのいずれも実は新しいものではない。人々はChatGPTよりずっと前から、認知の独立性と新技術がそれを侵食する可能性について懸念してきた。主に脳コンピュータインターフェースとニューロテクノロジーの文脈でだ。その枠組みには名前さえある:認知自由——個人が精神的完全性とアルゴリズム操作からの自由に対する権利を持つという考え。これはニューロライツの伝統(Ienca & Andorno, 2017)やユネスコの神経技術倫理勧告(2025)を通じてたどることができる。
知的足場はすでにある。政策はない、特に米国では。それがなければ、フロンティアラボがパーソナルAI安全性をAI安全性と同じくらい真剣に受け止めるようになるとは思えない。