木は主に空気からできている――AI安全性に一般化できる教訓

木の幹や枝の重さは、どこから来るのだろうか？多くの人は土壌の栄養分だと思うかもしれないが、実際には空気中の二酸化炭素が主な供給源である。光合成によって炭素が固定され、木材として蓄積されるのだ。この事実は、あるMIT卒業生にとって「とても気味が悪く、どうしてそんなことが起こるのか不思議」と受け止められたほど、直感に反する。しかし、これは生物学の基礎であり、理解されれば生命の仕組みへの洞察を与える。

人工知能（AI）安全性の分野でも、同様の「基礎の欠落」が見られる。著者は数多くの学生と面談し、彼らが「アライメント・フェイキング」「内部アライメント」「報酬の誤指定」といった専門用語に精通し、LessWrongを読み、具体的研究プロジェクトを経験している一方で、「なぜAIが存在リスクなのか」と問われると曖昧な答えしか返せない現状を指摘する。これは、基礎概念が学習された後、実際の研究や実験で使われる機会が少ないため、内省されずに終わっているからだ。

例えば、数学で分数を学んだ後、微積分でその理解が深まるように、ある基礎知識は後の段階で自然と強化される。しかし、AI安全性の基礎――直交性テーゼや手段的収束など――は、具体的な実験デザインや解釈可能性プロジェクトでは直接役立たないため、頭の片隅に追いやられてしまう。その結果、「木が空気からできる」ことを知らないMIT卒業生のように、「AIが危険な理由」を語れない専門家予備軍が生まれる。

著者は自身の経験を振り返る。6年前、AI安全性に関心を持ち始めた当初、彼はアウターアライメントの問題を理解していたが、問題の本質的な難しさを完全には内省していなかった。大学入学後、真に理解したことで、コンピュータサイエンス専攻に進み、AI安全性研究に集中する決意が固まった。「問題を本当に知ることは、なぜ気にかけるべきかを教えてくれる」と著者は言う。基本を軽んじることは、モチベーションの喪失や方向性の喪失につながる。

この記事は、AI安全性教育において、具体的なスキルやプロジェクトだけでなく、基礎概念の反復と内省の機会を増やすべきだという警鐘を鳴らしている。次世代の研究者が、過去の知見をすべて継承し、さらに深く理解するためには、まず「木が空気からできている」という事実を当たり前に知っている状態が必要なのである。

さらに著者は、数十人の学生との面談経験から、彼らが具体的な研究プロジェクトや用語には詳しいものの、「なぜAIが存在リスクなのか」という根本的な問いに明確に答えられないことを指摘し、これはAI安全性コミュニティの教育システムにおける構造的な問題であると述べている。彼自身もかつては同じ問題を抱えていたが、問題の本質を理解したからこそ、コンピュータサイエンスに専念し、AI安全性研究に集中できたと振り返る。したがって、基礎概念の内省を促す教育が不可欠であり、それこそが長期的なモチベーションと正しい方向性を生むと結論づけている。