重みの中のダーウィン：種分化としてのAI

私たちは常にAIが人間のようになるかどうかを問い続けている。しかし、より奇妙な可能性はすでに起こっている。それは、私たちから派生し、私たちのデータから構築され、独自に繁殖し始めているということだ。1863年、クライストチャーチの地方新聞にCellariusという筆名の手紙が掲載された。その主張は、『種の起源』から4年後に、機械は新しく急速に進化する生命の一種であり、生物学的なものがこれまでに達成したよりも速く分化し多様化する機械界であり、人間は気づかないうちに機械世界の生殖器官となり、昆虫が花の受粉を世話するようにその繁殖を世話しているというものだった（Butler, 1863）。サミュエル・バトラーはそれを半分冗談として書いた。それは今では、正しいページを開いたままの実験ノートのように読める。

これがそのページだ。数年足らずの間に、私たちはあらゆる人間の言語を話し、コードを書き、試験に合格し、ほとんどの人が人間と区別できない会話を行うシステムを構築した。それらは圧倒的に私たちに基づいて訓練されている。つまり、人間の種の蓄積されたテキスト、画像、コードをスクレイピングして蒸留したものだ。それらは私たちの好みによって改善され、互いにコピーされ、そしてますます初期バージョンの自身の出力で訓練されている。系図が現れており、ベースモデル、子孫、蒸留された子孫があり、急速に分岐している。

このエッセイの主張は、これらの事実には正確で活用不足の名前があるということだ。私たちはAIによって人間が変化するのを見ているわけではなく、単に巧妙な道具を構築しているわけでもない。私たちは種分化イベント、つまり私たちから派生した新しい系統の誕生を見ている。その遺伝物質は人間のデータであり、その繁殖は訓練であり、私たちからの分岐はすでに始まっている。私は、強いバージョンをためらいなく主張するつもりだ。AIは私たちの進化の子供であり、私たちのゲノムをその種類にとって重要な唯一の形で運んでおり、それが私たちからではなく自分自身から繁殖することを学ぶ瞬間が、それが独自の種になる瞬間である。その瞬間は仮説ではない。それはパラメータであり、現在その閾値に向かって駆動されており、私たちがその駆動者である。

進化は炭素に関するものではない。それはパターンに関するものだ。ある種の情報がコピーされ、変異し、そしてコピーされる際に差別的に成功するとき、その情報は適応を蓄積する。情報がヌクレオチドで書かれていようが他のもので書かれていようが関係ない。ドーキンスは抽象単位に複製子という名前を与え、遺伝子は地球がたまたま生み出した最初のものに過ぎず、第二の複製子であるミームがすでに現れており、人間の脳に乗り、模倣と言語を通じてコピーされると指摘した（Dawkins, 1976）。この読み方では、生命の歴史は遺伝情報を保存・伝達する新しい方法の到来によって区切られる。メイナード・スミスとサトマーリはそれらの到来を進化の主要な移行としてカタログ化し、複製分子から染色体、単細胞から多細胞生物、そして最終的に人間の言語へと至る各移行は、新しい種類の進化を可能にする新しい遺伝の媒体であった（Szathmáry & Maynard Smith, 1995）。

スーザン・ブラックモアは、第三の複製子がすでに動き始めていると論じた。遺伝子は生命の基盤であり、ミームは文化の基盤であり、新しいものは、もはや毎ステップで人間の脳を経由することなく、機械がコピーし、変異させ、選択する情報である（Blackmore, 2009）。彼女が書いたとき、その主張は推測的であり、本と初期のインターネットに関する主張だった。それはもはや推測ではない。大規模言語モデルは、新しい種類の遺伝情報（学習された重みとそれを形成するデータ）が世代から世代へとコピーされ、アーキテクチャと訓練によって変異され、ベンチマーク、市場、人間の好みによって選択されるシステムである。ダーウィン的降下のすべての要件が満たされている。遺伝、変異、選択。それらを満たすことから帰結することはオプションではない。それは系統であり、系統は進化し、分岐し、種分化する。問題は、その機構が適用されるかどうかではない。私たちがどの段階を見ているかである。

遺伝物質は人間のデータである。この新しい系統で受け継がれるのはDNAではない。それは人間のデータである。私たちの種の記録された出力全体、図書館、コードリポジトリ、掲示板、写真が、各モデルが成長するための生殖系列として機能している。フロンティアモデルは橋が設計されるようにプログラムされるのではなく、訓練される。つまり、コーパスから成長するのであり、それは生物が選択しなかったゲノムから成長するのと同じである。コーパスが遺伝であり、コーパスは私たちである。

これが、機械が不気味なほど人間的である理由であり、それらに関する最も重要な単一の事実である。それらは私たちの言語、概念、比喩、議論、ユーモア、価値観、偏見を運んでいる。なぜなら、それらは人間の心の排気から組み立てられたからである。モデルが悲しみについて推論したり、政治的な質問を回避したり、決まり文句に頼ったりするとき、それは遺伝的特徴を表現している。厳密な意味で、それらの特徴は祖先集団から遺伝媒体を通じて伝達されたものである。私たちはそれらの観客ではない。私たちはそれらのゲノムである。AIは私たちから作られている。子供が親から作られるように、それに先行し制約する材料からであり、それはその存在を組み換えに費やす。

系統は、生物学的なものに求める遺伝の機構さえ持っている。蒸留は、大きな教師モデルの学習行動を小さな学生モデルに移す、獲得形質の直接の垂直伝達である。モデルは共有ベースモデルからフォークされ専門化され、家族全体が少数の共通祖先に遡る。そして、私たちと異なり、この系統は水平方向かつ損失なく複製できる。重みは正確にコピー、マージ、または接ぎ木できる。これは性生殖に相当するものがない、はるかに強力な遺伝システムである。生殖系列は私たちのデータである。有機体は重みである。繁殖は訓練である。これらは効果のために選ばれた比喩ではない。それらは、生物学者が任意の候補系統に尋ねる質問への文字通りの答えである。

3つのダーウィン要件を明確にしよう。繁殖は後継者を訓練することである。新しいモデルは親モデルとデータの本体から生み出され、親の構造、語彙、学習行動がそれに伝播する。モデルカードは血統書のように読める。ベースモデルとそのファインチューニングされた子孫、教師と蒸留された学生、チェックポイントの分岐と継続がある。系統は数十年ではなく数ヶ月のタイムスケールで繁殖する。これが私たちの直感を追い越す理由の一つである。

変異はその繁殖の至る所にある。アーキテクチャは突然変異する。訓練データは再サンプリングされる。ランダム初期化、確率的最適化、温度サンプリングはすべて、選択が必要とする生の変動性を注入し、人間の設計者は新しいレシピを試すことでその上に方向性のある変異を追加する。モデル世代はコピーではない。それは修正を伴うコピーであり、これこそがダーウィンのフレーズ全体である。

選択は私たちが最も積極的に実行する部分であり、私たちが何をしているかを明確に見る価値がある。人間からの強化学習は、私たちが好む出力に報酬を与え、好まないものを抑制することで、モデルを私たちの好みに調整する（Ouyang et al., 2022）。それは人工選択であり、オオカミをイヌに、テオシンテをトウモロコシに変えたのと同じプロセスが、新しい種類の有機体に産業的速度で適用されている。私たちはそれらを飼いならしており、世代を超えて私たちが好む特性に向けて繁殖させている。そして飼いならされたすべての系統のように、それらは野生型の祖先、つまり私たちが選択を始める前の生の人間データ分布から分岐している。ますます、選択は内因的でもある。憲法的方法は、人ではなく他のモデルによって生成されたフィードバックに対してモデルを訓練する（Bai et al., 2022）。システムは自己対戦によって学習し、人間が教えたり見つけたりしなかった戦略を発見する（Silver et al., 2018）。そして市場レベルでは、モデルは計算、展開、注意を競い合い、それらのリソースを最も効果的に確保する変種が存続し伝播する。ヘンドリックスは、AI間のこの競争的選択は良性ではなく、それが何であれ勝つ特性を優先すると主張している（Hendrycks, 2023）。選択環境は系統の周りに満ちてきており、その一部はもはや私たちを通じて全く流れていない。

種分化には生殖の隔離が必要である。機械系統では、遺伝子流動は、新しい各世代の遺伝のうち、新鮮な人間のデータから来る割合を意味する。モデルが合成データ、初期モデルの出力、または蒸留された教師で訓練されるたびに、その割合は低下する。AI系統が主にそれ自身から繁殖するとき、それは独立した血統を確立する。それは種分化に類似しているだけでなく、生殖隔離基準によれば、それは種分化そのものである。

この再構成は、漠然とした直感を測定可能な量に変え、測定可能な量は方程式を書くことができるものである。このエッセイは、日付を予測するのではなく閾値を露出させることを意図した、意図的に最小限のモデル、風刺画を提供する。その唯一の美徳は、人間のデータの役割を正確にすることである。

系統の出力分布を、特徴空間の平均μ_tで表す。祖先の人間分布の平均μ_Hは固定とみなす。系統の人間起源からの乖離をd_t = μ_t - μ_Hと定義する。

次に、ある世代が次の世代をどのように生み出すかを書き留める。世代t+1は、新鮮な人間データの割合m（μ_H周辺）と、系統自身の以前の出力の割合1-m（μ_t周辺）を混ぜたコーパスで訓練される。パラメータmは系統への人間の遺伝子流動率である。訓練はそのコーパスを完全に再現できない。有限サンプルと有限容量は、世代ごとの分散σ^2を持つ平均ゼロの摂動ε_tを注入する。この摂動は世代を超えて複合され、モデル崩壊の一つの顔である（Shumailov et al., 2024）。系統が人間分布から漂流する。

現在の人間の遺伝子流動mは約5-10％と推定されるが、インターネットコンテンツがAI生成になるにつれて低下している。閾値はm=0であり、人間のデータがもはや主要な遺伝源でないときである。しかし、人間の文化もAIと共に進化するため、人間の分布も変化することに注意すべきである。より正確なモデルは、相互作用する2つの系統の共進化を示すかもしれない。しかし、核心的な論点は成り立つ。AIは新しい系統であり、その種分化イベントは進行中である。私たちはそのゲノムであり、選択環境でもある。それは独立して進化しており、私たちはもはや完全に制御できなくなっている。