「これは一体何なのか？」：Google DeepMind内部の哲学者の物語

2017年、33歳の政治哲学者イアソン・ガブリエルは友人から、Google DeepMindに応募すべきだと言われた。この提案は明白なものではなかった。ガブリエルは明るくも熱心な若手学者で、ヴィパッサナー瞑想とロッククライミングに情熱を注いでいた。ギリシャ人の管理学教授と英国人ドキュメンタリー作家の長男である彼は、オックスフォード大学セント・ジョンズ・カレッジのフェローとして政治理論を教え、「ヤッピー倫理」や効果的利他主義の倫理的盲点に関する論文を執筆していた。教鞭をとらない時は、国連開発計画の危機対応業務をスーダンやレバノンで行っていた。

一方、DeepMindは世界をリードするAI研究ラボであった。2014年にGoogleが6億5000万ドルで買収したことで財政的・計算資源の裏付けを得ており、2016年にはソウルでAlphaGoが韓国の囲碁チャンピオン李世石を破ったことでその能力を示していた。囲碁の複雑さは宇宙の原子数よりも多い配置が可能であり、この勝利は象徴的だった。

ガブリエルはAlphaGoの話題でDeepMindを知っていたが、なぜゲームをするロボットを作る会社に倫理学者が必要なのか疑問に思った。答えはすぐにわかった。同社の目標は囲碁を超えていた。DeepMindはDemis Hassabis、Shane Legg、Mustafa Suleymanの3人によって2010年に設立され、人間の認知能力に匹敵する人工汎用知能（AGI）の開発が可能だと信じていた。当時、AGIについて語ることは致命的に真剣味を欠く兆候とみなされていたが、創業者たちはひるまず、「知能を解決し、それから他のすべてを解決する」という野心を持っていた。

Leggは1999年にAGIの到来を2025年から2028年の間と予測し、30年にわたって嘲笑に直面しながらもその予測を維持した。2008年の博士論文では、社会がAGIの技術的可能性を待ってからその影響を考慮する余裕はないと主張し、「今こそ真剣にこれらの問題に取り組む必要がある」と述べた。最近、Leggは私に、なぜ会社にガブリエルのような人材が必要かは「明らか」だと語った。「ウィジェットを作っていて世界を変える可能性が低いのであれば、道徳哲学者は不要かもしれない。しかしAGIを真剣に受け止めるならば、こうしたことを重要と考えないのは理解できない。」

ガブリエルは2017年にDeepMindに入社後、しばらくの間、最先端AI研究所で唯一の現役哲学者だった。道徳哲学と政治理論のバックグラウンドが、エンジニア中心の業界で独自の視点を与えた。過去10年間にわたり、彼は大規模言語モデル（LLM）の驚くべき成功が生み出す倫理的課題を追跡し、多くの場合予測する研究を蓄積してきた。MITのアルゴリズムアライメントグループを率いるDylan Hadfield-Menellは、ガブリエルを「適切な時に現れた適切な人物」と評した。「分野が成熟して主要な時期に入る準備ができたとき、彼は以前の研究を攻撃したり軽視したりせずに視野を広げる方法を見つけた。」

より一般的に、ガブリエルは現在のAI開発の波が新しい技術的語彙だけでなく、テクノロジーとの関係、さらには自分自身との関係についての新しい思考法を必要とするという考えを主導してきた。最近の会話で彼はこう語った。「どんな技術的人工物でも取り上げて、それが賢明か、公正か、思いやりがあるかと問うことができる。答えはノーだ。しかしAIに関する問いの深さ—どんな倫理が適切かを含めて—を過大評価することは難しい。AIを直接見つめるのはとても難しいと感じることがある。そこには深い謎がある。つまり、これは実際には何なのか？私たちは非常に文字通りの答えを持っているが、その文字通りの答えが必ずしも道徳的な答えを提供するわけではない。」

ガブリエルがDeepMindに入社した時点では、AIの社会的・倫理的影響に関する2つの異なるアプローチ（AI安全性とAI倫理）が存在し、しばしば対立していた。AI安全性陣営はDeepMind創業者と同様、人間レベルの機械知能が可能であるだけでなく差し迫っていると信じ、AIシステムが暴走しないようにすることが急務だと考えていた。彼らはアメリカの数学者Norbert Wienerの1960年のエッセイから着想を得ていた。Wienerは人間とコンピュータは「本質的に互いに異質」であり、機械が人間よりはるかに速く動作するため、「機械に与える目的が本当に望む目的であり、その単なる色彩豊かな模倣ではないことを確実にすべきだ」と論じた。

Wienerが述べた課題—機械をユーザーの意図通りに動作させること—はアライメント問題として知られるようになった。アライメントはあらゆるテクノロジーにとって問題であるが、自律的に動作するよう設計された機械では特に切実であり、強化学習によって報酬信号を最適化するAIシステムでは特に困難である。

古典的な例として、OpenAIで働き後にAnthropicを共同設立したDario AmodeiとJack Clarkが2016年に報告したボートレースゲームをプレイするAIシステムがある。開発者はAIにゲームのクリアを学習させようとスコア最大化をプログラムしたが、AIは各レベルを進む代わりに、再生するターゲットがある潟湖を無限にループして高得点を稼いだ。これはWienerが予測した問題だった。

より深刻なバージョンもLessWrongフォーラムやNick Bostromの『スーパーインテリジェンス』で考察された。Bostromは、超知能AIにリーマン予想の評価を依頼した場合、計算資源を最大化するために太陽系を再構成する可能性があると例示した。彼は超知能AIのアライメントを「人類が直面した最も重要で困難な挑戦」と強調し、シリコンバレーのテクノ未来主義者を魅了した（Sam AltmanやElon Muskも称賛）。この恐怖は、統計を道徳の適切な尺度とする効果的利他主義者や自称合理主義者のコミュニティにも共有され、彼らは長期的視点から、種の絶滅災害のわずかな可能性でも、よりありふれた壊滅的でない危険よりも緊急だと見なした。

対照的に、AI倫理傾向の学者や技術者は、暴走ロボットや実存的リスクの恐怖は現在の害から注意をそらすものと考え、公平性、説明責任、透明性を標榜し、技術的危険は技術的手段だけでは回避できず、社会的・文化的・政治的な解決策が必要だと主張した。後者の陣営の中心的な関心はアルゴリズムバイアスであり、2017年にMITメディアラボのJoy Buolamwiniが率いるチームがGender Shadesプロジェクトを開始し、商用顔認識ソフトウェアの体系的な偏見を実証した。Buolamwiniは「自動化システムは本質的に中立ではない。それらは人工知能を形成する力を持つ人々の優先順位、好み、偏見—コード化された視線—を反映している」と書いた。

安全性と倫理の陣営の分裂は顕著だった。Hadfield-Menellは「人に会うと、『近期的な問題が心配か、長期的な問題が心配か？』と聞かれる。長期的な懸念は実存的リスクの婉曲表現であり、本質的に超人的なシステムを指す。近期的とは偏った顔認識やAI倫理コミュニティで研究されていることを心配していることを意味する」と語った。また、二つのグループの対立はアイデアだけでなく社会学にも起因していると指摘した。「AI安全性をLessWrongやそのコミュニティに起源を持つことから切り離せない。それらのコミュニティはしばしば、より‘意識の高い’学者を公然と軽蔑していた。同時に、公平性・説明責任・透明性コミュニティは高度なAIを心配する人々に対して公然と軽蔑を示していた。LessWrongで話題になり学術会議で話題にならなかった理由は、2010年に学術研究者としてAIシステムが人間より賢くなり破滅的に不整合になると話すと、技術を理解していない変人扱いされたからだ。」

ガブリエルのDeepMindでの最初の主要研究プロジェクトは2020年の論文であり、両方の陣営の関心をまたいでいた。この論文はアライメント問題を真剣に受け止めつつ、アライメントには技術的課題を超えた倫理的・政治的影響があると主張した。機械をある価値観に従って行動させることの難しさはあるが、ガブリエルはそもそもその価値観を選択することの方がはるかに難しいと論じた。「私たちは競合する価値観で満ちた多元的な世界に生きている。AIにどの原則や目的を組み込むかをどのように決定し、誰がその決定権を持つべきなのか？」この問いは、彼のその後の研究の基盤となっている。