コントロールが失われる感覚

2018年、ウェブトラフィックに熱中していた時代、オンラインの観客がボットにいかに簡単に操作され、偽造されうるかが認識され始めた頃、作家のマックス・リード（Max Read）はインターネットが「反転」と呼ばれる閾値を超えたと論じた。ボットはインターネット中に蔓延しただけでなく、インターネットそのものを構成するようになったのだ。ボットが人間の数を上回ることで、オンライン体験の現実そのものに対する人々の把握も緩んでいった。リードはこう書いている。「結局のところ、インターネットから失われたのは『真実』ではなく、信頼である。つまり、私たちが遭遇する人や物が、自分自身であると表現する通りのものであるという感覚だ。」

今日、「反転」はほとんど古臭く感じられる。自律型AIエージェントがインターネットを徘徊し、電子メールに返信し、テキストを送信し、時には企業全体のコードリポジトリを削除する。チャットボットの言葉の無限のライブラリが、すべてのGoogle検索で人間が書いた言葉を押しのけている。ボットは音楽や動画を生成し、悪い詩や散文を生み出し、ウェブサイトを構築し、研究を行い、取引をし、上司に退屈なメモを書き、幾何学の予想を解く。それらのAIの出力は、ブラックボックスアルゴリズムによって制御されるインターネットの線路を走る。コンピュータがコンピュータと会話し、コンピュータがより人間らしく聞こえるように、あるいはよりうまく人間を引きつけるように訓練するための情報を生成する。人間はボックスに入力し、スクロールし、待つ。

AIはさまざまな方法で人々を狂わせている。その圧倒的な速さと実存的な重要性は、業界に向けられた一般的な不安と敵意を生み出しており、実際のAI精神病の症例は言うまでもない。しかし、その多くはより微妙なものであり、リードが以前に説明した、困惑させ、腐食させる感覚を深めている。文化的には、スロップ、AIインフルエンサー、偽アカウント、AIツールの氾濫が、すでにポスト真実の時代の境界を曖昧にしている。空気の中には特定のパラノイアが漂い、操作され、だまされ、影響を受けることへの絶え間ない懸念がある。ステルスマーケティングキャンペーン、傭兵ボット軍団、有料クリッパーにより、怪しげに見える人やものはすべて、潜在的な「心理作戦」とみなされる。人間の創造性の安物の模倣は、かつてないほど簡単に偽造できる。感情、さらには人気さえも、操作が容易になった。その上に、エージェンティックAIへの推進がある。私たちは、人間のタスクを実行するボットで溢れたインターネットからなる未来を告げられている。

これらすべてに力を与えられていると感じない人々は、途方に暮れている。文化の非常に多くのレベルで、コントロールが少しずつ滑り落ちていく感覚がある。あなたも、私も、私たち全員が、これらのツールを楽しんでいるか使っているかどうかにかかわらず、主体性の危機を生きている。焦燥とパラノイア、さらには興奮――AIの仕事、教育、芸術、文化への侵入に対する反応は、人間が多くの活動でより受動的な役割に滑り込んでいる文化的・技術的瞬間の副産物である。生成AIブームを見る一つの方法は、シリコンバレーによって私たちに押し付けられた大規模な社会的実験であり、その核心的な問いは次の通りだ。「人間は何のためにあるのか？」

見渡し始めると、主体性への不安が至る所にある。それは、AI変革に備えたMetaなどの大量解雇への反応、ベンチャーキャピタルが出資する大量コンテンツ作成ボット軍団のスタートアップを「二度と人間に金を払うな」と誇らしげに主張する報道に見られる。コーディングツールへの依存がスキルセットを侵食していると感じるソフトウェア開発者、AI支出が正当化できるかどうか認める経営幹部、医学雑誌が偽の引用で埋め尽くされているという報告、チャットボットの使用が思考を低下させるという研究、あるいはGoogleが従来のリンクベースの検索結果に代わるものを提供するという発表――あなたに代わってウェブをスキャンし、標準的な答えを持ち帰ったり、パーソナライズされたアラートを送信するAIエージェントだ。

この不快感はリアルタイムで展開している。先週、文学雑誌『Granta』がコモンウェルス短編小賞受賞作「The Serpent in the Grove」を掲載した後、疑い深い読者たちが、その作品にチャットボットのテキストの証拠と思われるものを指摘し始めた。すぐに、他の2人のコモンウェルス賞受賞者も同様の精査を受け、人々はAI検出器に文章を通すようになった。（コモンウェルス財団は最初、受賞者の誰もAIを使用していないと声明を出したが、その後、再調査していることを示唆する第二の声明を発表した。）AI推進派はこれを、現在の言語モデルの洗練の証拠として歓迎した。懐疑派はそれを、スロップの転換点のようなものと見なした。最近のエッセイで、作家サム・クリスは現在ウェブサイトをスクロールする体験を次のように描写している。「クリックすればするほど、パニックになり始めた。どこにも人間の声はなく、同じ陽気な悪魔の何千ものバージョンがあるだけだった。私はここで一人なのか？世界に何かが起こった。すべてが薄っぺらくなった。」

AIライティングの氾濫、検出競争、適切な使用とは何かをめぐる議論は、このテクノロジーが提起するより大きな問題の一部である。創造性をアウトソーシングするとはどういうことか？自分が好きなものが人間のものかどうかを見分ける能力は、いつまで持つのか？私たちの好みは重要か？もし重要でなければ、私たちはそもそも何をしているのか？

おそらく驚くべきことではないが、シリコンバレーがこれらのツール（人間の監督なしに複雑なタスクを達成できる自己指向型エージェント）を構築し、熱心に宣伝しているのと同時に、その最も声の大きい支持者の多くが自分たちの主体性のアイデアに取り憑かれている。ビルダーサークルでは、「高い主体性」を持つと見なされる人々が階層の頂点に座る。彼らは個人主義的で、野心的で、集中している。彼らはただ物事を行う。彼らは特に、人と機械の両方を活用することに長けている。高い主体性を持つ人々は、今のところ、大きな不安定性の時代に代替可能または無関係になることから免れていることが暗示されている。彼らは、取り残される後発採用者を指す湾岸地域の別の造語、「恒久的な下層階級」の一部になる運命にはまだないのだ。人はこんな言葉を聞いて、少なくとも少しは paranoid にならずにいられるだろうか？

AI企業は「人間がループの中にいる」という用語を使って、チャットボットから戦争に至るまでのあらゆるものにおける人間とAIツールの関係を説明している。人間は管理的なタスクを実行する。プロンプトを与え、評価し、承認し、監視し、修正する。ループの中にいることは能動的に聞こえるように意図されているが、真実は、プロンプトを超えて、人間が非常に頻繁に行っているのは、複数の機械の相互作用に反応することである。チャットボットおよびAI支援検索がウェブ探索を言語モデルにアウトソーシングするにつれて、このダイナミクスは人間がインターネットと対話する主要な方法となっている。ソーシャルメディアのフィードでAI生成と人間生成のビデオ、画像、テキストが混ざったものをふるいにかけている？あなたは受動的に、アルゴリズムとコンピュータによって作られたものとの間の相互作用を消費している。これが、スマホとフィードに張り付いていることが、非常に搾取的で喜びがなく、麻痺させるように感じられる理由である。

最近、オンライン文化研究者のエイダン・ウォーカー（Aidan Walker）は、インターネットの大部分でのユーザー体験を、ユーザーが無限のスクロールによって寝取られているようなものだと見事に表現した。人々は長い間、アルゴリズムへの依存とボットや偽コンテンツの氾濫が、事実上死んだインターネットにつながったと理論化してきた。ウォーカーの理論は、インターネットは「死んでいる」わけでも「偽物」なわけでもなく、モデルとアルゴリズムがオンライン上の主体性の大部分を担っているというものだ。ループの中の人間は座って見守り、短い動画に投票し、スワイプするたびに機械にフィードバックを与える。これは暗いビジョンである。また、反論するのは難しい。

このシステムでは、不信感がどのように発展するか、自分が提供されるすべての情報の背後に ulterior motives を疑うようになるかは容易に理解できる。これらは本当に最高のワイヤレススピーカーなのか、それともSEOスロップに引っかかっているのか？私が好きではないこのバンドは本当に人気があるのか？人気とはそもそも何なのか？現実がぼやけ始める。すべてが薄っぺらくなる。

AI企業と推進者はエンパワーメントの言葉を語る。ツールが強力で、多くの場合非常に有用であるという点で、彼らは間違っていない。しかし、これらのツールが、奇妙でワイルドな初期のインターネットの約束、ユーザー生成コンテンツ、情報や人々やコミュニティに出くわすこと、モデムの向こう側にいる本物の人間のパチパチという静電気のような感覚の逆転をどれほど表しているかを過大評価するのは難しい。2011年、作家ポール・フォード（Paul Ford）はインターネットを「カスタマーサービスメディア」と表現し、「人間には根本的なニーズがある。それは、相談され、関与し、自分の知識（そしてそれゆえの権力）を行使することであり、これまでに登場した他のメディアはそれほど効果的にそれを利用できなかった」と論じた。フォードは、RedditやWikipediaのようなユーザー生成コンテンツサイトの背後にある衝動を説明していたが、コメントセクションや投稿やビデオへの「いいね」や賛成リアクションの台頭、そしてソーシャルメディアの台頭（それがこれほどアルゴリズム的に媒介されるようになる前）につながった本能そのものも説明していた。

現在の主体性の危機の最中にそのエッセイを再訪すると、シリコンバレーがフォードの言葉を心に留めたかもしれないが、逆の結果をもたらしたことに驚かされる。それは、人類史上最も印象的なカスタマーサービスメディアを構築した。無限にスケーラブルで、高度にパーソナライズされた回答マシンであり、私たちの不安を甘やかし、私たちの特異性を模倣する。しかし、このシステムは、人間が相談される必要性を自動化し、否定さえする。今や私たちはチャットボットに相談し、それらが標準的な答えを提供する。生成AIの大いに称賛される効率性は、しばしばコラボレーションの必要性を消し去る。問題解決や重労働を代行する。したがって、AIへの反発、特にデータセンターへの反対が、全国各地の町や市議会での抗議やパブリックコメントの形で現れているのも不思議ではない。人々は、自分たちの主体性を行使できる数少ない場所、すなわち物理的な世界で行動を起こしているのだ。

AI企業はこれらすべてを見逃しているようだ。彼らにとって、モデルにとって価値があるのは情報だけであり、人間性ではない。これは正しくないが、絶え間ない情報の渦の中で迷子になった私たちの多くは、それが正しいと思い込まされるだろう。新しいパラダイムでは、私たちは相談されるというよりも、機械にデータを供給する任務を負っている。私たちは自分たちの人間性を演じ、機械はそれを模倣することを学ぶ。その目標は、私たちがしていることにおいて、私たちよりも優れることである。

AI業界は、ある人々には抗いがたく、他の人々には方向感覚を失わせるオフショアリングの時代をもたらした。危機に瀕しているのは、真実や信頼だけではなく、私たち全員の方向性、定位、目的の感覚でもある。「自分で調べろ」は、インターネットが人々をイベルメクチンの売人やピザゲートの陰謀論者に導く問題の代名詞になった。しかし、それは同じくらい簡単に、開かれたインターネットが約束する自主性のスリルを説明することもできる。私たちは、次に来るものを完全に認識したときに、それを懐かしむかもしれない。それは、あいまいな企業の動機のブラックボックスであり、単に「これが答えです」と教えてくれるだけのものだ。