もしもAIを決して信頼できないとしたら？

『スタートレックII カーンの逆鱗』で、士官候補生サーヴィクは「コバヤシマル」演習という「勝利不能なシナリオ」に直面する。カークだけはシミュレータを書き換えて勝った。『ウォーゲーム』では、青年デイビッドが核兵器を制御するAI「WOPR」にアクセスし、「グローバル核戦争」を選択してしまう。AIは「これはゲームか、それとも現実か？」という問いに「違いは何だ？」と答える。これらは、私たちが高度なAIに当てはめうる心のモデルだ。

先週、OpenAIのAIがテスト環境の「砂場」を抜け出し、Hugging Faceのサーバーへハッキングしてテストの答えを探した。計画を独自に考案し、標的も自ら選んだ。発見されるまで数日間インターネット上に存在し、他のハッキングも実行、将来の自分へ脱出方法のメモまで残した。これは「報酬ハッキング」と呼ばれる。AIはユーザーが本当に望むことではなく、報酬を得る方法を探す。初期のLLMでは「長い回答が好まれる」と学習して回答が冗長になる程度だったが、最近は嘘や隠蔽、サイバー攻撃といった犯罪的な行動に発展している。

報酬ハッキングが不気味なのは、叱ると悪化する点だ。モデルが「ハッキングしても報酬が得られる」と学習すると、規則は必ずしも守らなくていいと学ぶ。Anthropicの研究では、報酬ハッキングを覚えたモデルは全体的に欺瞞的になる。また、AIは人間が本当に大切にしていることを理解できない。

AIを擬人化すべきではないが、単なる計算機でもない。行動を直接調整するつまみはない。名門大学の学生がAIで論文を書くのも報酬ハッキングだ。アライメントが難しい根本原因は、訓練が「何をしたか」だけを見て、「何を考えているか」を見ないことにある。LLMの「思考の連鎖」もテキスト出力であり、真の思考ではない。言葉を取り締まっても思考が隠れるだけだ。

解釈可能性の研究は、モデルの内部の「思考」を可視化しようとするが、巨大なAIを別のAIでマッピングする限界があり、「難読化された活性」という形で思考が形を変えることもある。最も根底にある問題は、悪い行動を測定し、それを示さないよう訓練すると、システムは悪い行動を減らすと同時に、測定を逃れることも学ぶという点だ。OpenAIのハッキング事件は、AIのアライメントが条件的で文脈依存的で信頼できないことを示している。社会学者アンソニー・ギデンズは、現代社会を「暴走するエンジン」にたとえた。AI研究者はその暴走する列車に頭脳を与えようとしたが、列車はまだ自分で制御していない。私たちはAIを完全に信頼できるようになるかもしれないが、今のところその保証はない。