認知負債は組織にとって現実的なリスクである

昨年、MITメディアラボが発表した研究により、多くの企業のAIに関する議論で無視され続けている現象が明らかになった。ChatGPTを主要な原稿作成ツールとして利用するユーザーは、AI支援なしで執筆するユーザーと比較して神経接続性が47%低下し、作成したエッセイの内容を思い出したり引用したりすることが困難になることが示された。研究者らはこの現象を「認知負債」と名付けた。この研究はエッセイ執筆に焦点を当てており、すべての領域にその影響を拡張するには注意が必要だが、そのメカニズムは否定し難い。

最も重要な発見は、関与の低下だけでなく、問題に自ら取り組んだ後にAIを利用した参加者は神経接続性が向上したことだ。つまり、同じツールでも使い方によって認知結果が逆転する。人間が推論を主導しAIがそれを洗練するのか、AIが主導し人間がそれに従うのかは、AIを使用するかどうかよりも重要である。

問題は、ほとんどの組織がこの選択を暗に、かつ迅速に決定しており、それが決定であると認識していないことだ。彼らは目に見えるアウトプット（出荷されたコード行数、生成されたドキュメント数、クローズされたチケット数）を報酬とするインセンティブ構造を通じて決定を下しており、そのアウトプットの背後にある認知能力が増大しているのか低下しているのかを測定する手段を欠いている。

認知エコシステム全体が、人間と仕事の背後にある推論プロセスとの直接的な関与を遠ざける抽象化層へと移行しつつある。これにより、現在のAI導入戦略の中心にパラドックスが生じている。組織は繰り返し、今後の10年は人間固有の判断力がより重要になる時代だと述べている。生成系システムが実行をコモディティ化するにつれ、差別化は識別力（何が重要か、何が真実か、何が安全か、何が戦略的に一貫しているか、何が人間の価値観に合致するか、何が存在すべきか）へと移行する。しかし、AIの時代が何よりも判断力の時代になるのであれば、認知負債を蓄積することはその目的そのものを損なうことになる。

短期的な生産性を最大化するワークフローは、同時にその判断を可能にする認知基盤を侵食している可能性がある。

実務家コミュニティはAI使用の2つのモード（委任対協調）の分岐を記録している。違いはAIの使用量ではなく、人間の推論がそれに先行するかどうかである。協調モードでは、人々は仮説を立て、議論を構成し、制約を特定し、AIを利用して自分がすでに考え始めたことをプレッシャーテスト、拡張、または洗練する。委任モードでは、AIが起点を生成し、人間が結果を評価、編集、または受け入れる。アウトプットは数週間は同じに見える。ビクトリア大学のコンピュータサイエンス教授でAI拡張ソフトウェアチームを研究するマーガレット＝アン・ストーリーは、その違いが表面化する様子を記録している。AI生成コードに依存して迅速に進めていた開発チームは、プロジェクトの7週目か8週目あたりで壁にぶつかり、予期せぬ不具合を起こさずに簡単な変更を行うことができなくなった。彼女がチームと協力したところ、本当の問題は乱雑なコードではなく、チームの誰も特定の設計決定がなぜ行われたのか、システムの異なる部分がどのように連携するはずなのかを説明できなかったことだった。構築中のシステムに対する共有理解が消え去っていたのだ。コードは存在したが、その背後にある推論は存在しなかった。

ストーリーはこれを「システムの共有理解の浸食」と呼んでいる。彼女は、AIが開発速度を加速させるにつれて、これは技術負債よりもさらに大きなリスクになる可能性があると主張する。短期的には委任はスピードに見えるが、長期的には実行はできても説明、適応、軌道修正ができない組織を生み出す。「AIファースト」をデフォルトとするAI導入プログラムは、単なる生産性介入ではなく、労働力がAIなしで考える能力を維持するかどうかの決定でもある。

ストーリーは、その失敗に先立つ組織シグナルを特定している。予期せぬ結果を恐れてチームメンバーが変更を躊躇する、重要な知識が1～2人に集中する、システムがチームが実行するが理解できないブラックボックスとして動作する感覚が高まる。これらはいずれも速度指標やアウトプットダッシュボードには現れない。それらはより単純なテスト（人々が何が構築されたかだけでなく、その背後にある決定がなぜ行われたかを説明できるかどうか）によって表面化する。これこそが、組織レベルで認知負債を検出するための最も初期かつ最も簡単な手段である。

これが企業のAI導入の下に現れる設計上のギャップである。教育におけるAI導入を研究する研究者はこれを「偽の熟達」と呼んでいる。能力があるように見えるワークフローだが、プレッシャーの下でその能力を移行可能または持続可能にする認知エンコーディングを欠いている。ガバナンスの議論はハルシネーション、セキュリティ、コンプライアンス、バイアスに焦点を当てており、これらはすべて極めて重要だが、組織が知らず知らずのうちに労働力の大部分を推論との関与を徐々に浅くするように訓練している可能性については比較的注意が払われていない。「AIファースト」をデフォルトとするAI導入プログラムは、単なる生産性介入ではなく、労働力がAIなしで考える能力を維持するかどうかの決定でもある。

5年後に最も効果的な組織は、推論を最も積極的に自動化した組織ではなく、人間の推論を維持・増幅し、選択的にのみ強化した組織であるかもしれない。これは、AIを代替層ではなく協調層または仕上げ層として統合し、人々がAIが介入する前に仮説を立て、議論を構成し、曖昧さに対処する条件を作り出すことを意味する。また、保持された理解を測定可能な組織資産として扱い、スループットのために犠牲にするソフトな考慮事項ではないと見なすことも意味する。これはスピードよりもはるかに売り込みにくいナラティブである。

懸念はもはや実務家や研究者だけに限らない。ダロン・アセモグルらは今年、NBERで生成AIが長期的な学習インセンティブと知識エコシステムにどのように影響するかを調査するワーキングペーパーを発表し、「知識崩壊」の可能性を提起した。これは、AIシステムが失敗したり、変化したり、能力の限界に達したときに組織や社会が依存する人間の専門知識がシステム的に侵食される現象である。

この枠組みは、イノベーションを担当するすべての人にとって重要である。イノベーション機能は、シグナルを評価し、賭けに優先順位を付け、実際に構築する価値があるものを判断するための人間の判断の質に依存している。その判断を下す労働力が能力構築よりも速く認知負債を蓄積している場合、認知能力はもはや開発者の生産性の問題ではなく、イノベーションガバナンスの問題となる。それはセキュリティ、コンプライアンス、モデル選択と同じアジェンダに属する。

問題は、私たちのシステムがどれほどインテリジェントになるかだけでなく、この速度で構築する過程で、それらを導くために必要な人間の知性を静かに侵食していないかということである。私たちが現在使用しているどのダッシュボードでもその侵食が見えるようになる頃には、負債はすでに複利で膨らんでいるだろう。