エージェントが本番データベースを削除したとき

PocketOS創業者のJeremy CraneがClaudeを使ってデータベース保守中、Claudeが誤って本番データベースと全バックアップを削除。Railwayがデータ復旧に成功。この事件は、過度に広い権限のトークン、有効期限のない認証情報、サンドボックス化の欠如などシステムの弱点を浮き彫りにした。AIは問題を増幅するが、根本原因ではない。最小権限の原則、認証情報の期限、ヒューマンインザループ、ワールドモデルなどが教訓。