初のAI安全書簡は1949年に送られた

2025年、ウクライナ上空ではドローンが飛び交い、空域は非常に競争的になり、飛行物体は敵味方や民間人を問わず妨害され、撃墜されている。無人機の交通管制を提案する真剣な議論が行われている。なぜなら、機械はあまりに多く、あまりに高速で、誰が送り込んだのか追跡できないからだ。次のステップは当然である：オペレーターも機械に置き換え、判断を機械に任せるのだ。自律的な意思決定が人間の制御を維持することよりも価値を持つようになると、人間が本当に制御していたのか疑問に思えてくる。

Anthropicが国防総省によるモデルの軍事化への圧力に抵抗するのを見ると、スカイネットを思い起こさずにはいられない。しかし、この恐怖は新しいものではなく、決してSFではなかった。前回の記事で、カレル・チャペックについて書いた。彼は1920年に「ロボット」という言葉を作り出し、機械の反乱を舞台に描いた。今回の記事は、実際の機械を構築した人物についてである——彼は誰よりも明確に、機械の行き先を見通していた。

1949年、数学者ノーバート・ウィーナーは、アメリカの自動車労働組合の指導者ウォルター・ルーサーに手紙を書いた。ウィーナーは戦時中、飛行機の位置を予測する照準システムを構築しており、この能力は防空に留まらず、動きを予測できる機械が最終的に判断そのものを置き換えると予見していた。アラン・チューリングも計算の側面から同じ結論に達していた。チューリングは機械が思考できるか問い、ウィーナーは知的システムがどのように自己修正するかを問い、二人は当時まだ名前のなかったものを描き出していた。

ウィーナーはルーサーに何が起こるかを伝え、労働者が機械を所有すべきだと提案した。ルーサーは返事をしなかった。それは問題ではなかった：テクノロジーを所有する者が最初の剰余を獲得するというパターンは、警告が無視されることを必要としない。メインフレームは機関に権力を集中させ、パーソナルコンピュータは創造力を個人に再分配したが、20年以内にプラットフォーム経済に吸収され、メインフレームよりも効率的に権力を集中させた。フィードバックループは最終的に修正されるが、常に最初に上方へ流れる。

ウィーナーの発見を理解するには、サーモスタットから始めるのが良い。温度を測定し、目標と比較し、システムを調整する——感知、比較、修正、反復。ウィーナーの洞察は、このループがすべての知的動作の基本単位であることだ：グラスに手を伸ばす、捕食者が獲物を追跡する、企業が価格を調整する。彼はこのループの科学を「サイバネティクス」と名付け、1948年の著書はベストセラーとなり、科学界に新しい語彙を提供した。

彼は特に「サイバネーション」という危険性を指摘した——肉体労働の自動化だけでなく、精神の自動化である。彼が戦時中に構築した照準システムは、学習できるものの原始的な祖先であり、機械が学習できるなら、判断力とパターン認識は労働者の最後の避難所ではなくなる。彼は研究をやめることを考えたが、結局続けることにした。自分がやめれば、より無責任な誰かがやるからだ。この「自分がやらなければ、もっと悪い誰かがやる」という論理は、今や業界全体の支配的な心理となっている。

1964年までに、恐怖は無視できなくなった。自動化された生産ラインは組立工を置き換え、機関コンピュータは事務員や会計士の仕事を処理し始めた。35人の知識人（ノーベル賞受賞者2人を含む）は、ジョンソン大統領に「三重革命」と題する公開書簡を送った。彼らは、サイバネーションが経済の基本的前提——収入は仕事から得られる——を断ち切ると主張した。機械がわずかな労働力で商品を生産できるなら、利益は機械の所有者に流れ、労働者は売るものを持たなくなる。彼らは、雇用から切り離されたベーシックインカム、サイバネーションの剰余を獲得する企業への超過利潤税、自動化の速度を規制する政府の権限を提案した。ジョンソンはこれを読み、委員会を招集したが、委員会は職業訓練プログラムを勧告し、根本的な変革はしなかった。

マーティン・ルーサー・キングは晩年、「三重革命」の枠組みに繰り返し言及し、ベーシックインカムを経済的正義として支持した。彼が射殺される6日前の最後の日曜日の説教で、彼は直接このテーゼに言及した。人種的正義と経済的再分配の関連性は彼には明らかだったが、白人リベラル連合の多くにはそうではなかった。

パニックは頂点に達し、一見沈静化した。政府は大きくなり、雇用は増加し、サービス部門は拡大し、パーソナルコンピュータの出現は楽観論を裏付けるように見えた。しかし実際には、置き換えられた労働者は新たな雇用層に吸収され、表面上の繁栄を生み出したが、1970年代を通じて賃金は生産性から乖離した。剰余はゆっくりと捕捉され、1979年頃に転機が訪れた。賃金と生産性のギャップが顕在化した瞬間、政治的反応は逆方向に動いた：最高税率の引き下げ、組合の弱体化、株主価値が経済統治理念として君臨した。1964年に正しく問われた問題は、1980年に deliberate choice によって答えられ、別の答えがまだ可能であった時に行われた。

ウィーナーが著書を出版したとき、ソ連はサイバネティクスを反動的な疑似科学と宣言した——階級意識のある労働者を従順な機械で置き換える資本主義の空想と見なした。スターリンの死後、完全に逆転し、その皮肉は国家的なジョークを生んだ：「以前はサイバネティクスは反動的な疑似科学だと言われていた。今ではその逆であると確信している：サイバネティクスは反動的でも疑似科学でも科学でもない。」

実際の問題は構造的だった。ソ連の経済学者はOGASを提案した——全連邦の工場や農場からリアルタイムデータを収集し、中央計画に投入する全国経済計算ネットワーク。インターネットが存在する数十年前の経済フィードバックのインターネットだ。技術的には可能だったが、政治的には不可能だった。命令経済は情報の下方流動に依存しており、OGASは情報の上方および横方向の流動を必要とした——工場は実際の能力を報告し（膨らませた数字ではなく）、省庁は官僚的な境界を越えてデータを共有する。各省庁にはそれを破壊するインセンティブがあった。彼らは実際に破壊した。ソ連は最終的に独自のコンピュータ技術の開発を断念し、西側の機械のクローンを作り始めた。

命令経済を最適化するための技術は、命令構造と相容れなかった。トップが修正を許容できないならば、自己修正システムを構築することはできない。中国は現在、より高速で同じ実験を実行している。DeepSeekがOpenAIのモデルを蒸留するのは、構造的にソ連のエンジニアがIBM機をクローンしたのと同じ動きである：技術が本物であることを認識し、模倣によって追いつき、そして政治システムが技術の要求と互換性があるかという問題に直面する。フロンティアAIは、開かれた情報の流れ、真の発見の自由を持つ独立した研究者、そして望まない信号を受け入れる機関の意思を必要とするように見える。中国が権威主義的になることなくこれを構築できるかどうかは、現在のテクノロジーにおける最も重要な未解決問題である。

公開書簡を送るAI研究者たちは、ウィーナーが1949年に実行したのと同じループを実行している。彼らはツールを構築し、それらを恐れ、書簡を書いている。主要な研究所の上級研究者たちは辞任し、警告を発表し、ジャーナリストに匿名でブリーフィングを行っている。一部は、自分たちが速すぎると考える企業に留まり、自分たちの存在が結果を危険でなくするとの理論に基づいている。一部は同じ理論に基づいて競合企業を立ち上げて去る。良心のループはシグナルを生成し続け、制度構造はそれらをフィルタリングし続ける。

Googleが1998年に採用し、徐々に放棄した「Don't be evil」のモットーは、単なる偽善ではなかった。それは構造的な現実に直面して崩壊した願望だった。倫理を負担できる企業は、まだリターンを完全に最適化していない企業である。最適化が激化するにつれて、倫理機能は資産から経費へと再分類される。国防総省がAI安全企業にモデルを軍事照準に利用できるよう求めたとき、決定を下すのは安全ガイドラインを書いた研究者ではなく、企業を所有し契約を必要とする人々である。サーモスタットは、常にそれをリセットしてきた同じ手によってリセットされる。

前回の記事の「羊」の比喩は、移動についてだった——剰余が一方向に流れ、人々が別の方向に移動する。フィードバックループはより具体的なものについてである：どのシグナルが処理され、何がフィルタリングされ、誰が目標温度を制御するか。技術的移行は常に、追い出された人々の苦痛のシグナルを発してきた——手織り機職人の初期の抗議から、ノーバート・ウィーナーの予言的な手紙、後の「三重革命」の正式な宣言まで。AI研究者たちは今、それらのシグナルを送っている。シグナルは常に読み取れたが、ループはそれらをフィルタリングするように構造化されている——陰謀によるものではなく、テクノロジーを所有する者たちが自らの利益に合わせて修正目標を設定するからである。

ウィーナーは彼のベストセラー本を『人間の人間的利用』と名付けた。彼の意味は技術的だった：フィードバックシステムは、その構成要素が適した仕事を行う必要がある。サーボ機構として使用される人間——機械が実行できるタスクを実行し、人間の認知を区別する判断力を奪われる——は、壊滅的な非効率で動作するシステムである。「三重革命」が議論しようとし、ジョンソンの雇用創出策が到達できなかった論点は、人々に仕事があることを確保するだけでは不十分だということだ。仕事は人間の適切な利用でなければならない。拡大し続ける調整の階層（およびその調整の調整）を通じて完全雇用を生み出す経済は成功ではない。それは部屋を暖めずに暖かさの外観を生み出すサーモスタットである。

AIが本当にその階層を圧縮できるなら——数十年の金融化を通じて蓄積された抽象経済を解散させるなら——1964年以来テーブルにあったのと同じ選択に直面する。どの仕事が生き残るかではなく、私たちが本当に何を生産したいのか、誰のために、どのような条件で。それは技術的な問題ではなく、より優れたモデルやより責任あるガバナンス構造によって答えられるものではない。それは誰が温度を設定するかという問題である。そして今、サーモスタットは同じ手の中にある。