今週のAI：プロダクションの実現可能性

今週の『今週のAI』では、ホストでAIコンサルティング会社Intelligence Briefing創業者のAndreas Welschが、Savvi AIの共同創業者兼CEO Maya Mikhailov、および生成AIとインテリジェントオートメーションのリーダーDoug Shannonを招き、実践者が現在直面している相互に関連するいくつかのトピックを取り上げました：OpenAIの個人金融への進出、AI支援技術作業におけるメタ認知の役割、トークンベースの生産性指標への高まる反発、そして前方展開エンジニアの新たな役割です。これらのストーリーは、アウトプットを生成することは得意だが、どのアウトプットに価値があるかをまだ模索している業界の姿を描き出しています。

なぜOpenAIはあなたの銀行口座データを欲しがるのか

OpenAIが金融機関と提携してユーザーの取引データを分析すると発表したとき、メディアの焦点は消費者利益にありました。Credit KarmaやMintのようなものと比較される、より会話的なインターフェースによるスマートな支出追跡方法です。しかし、同社が関心を持っているのはそれだけではなく、それが主目的でもありません。Mayaは利害関係を再定義しました：「OpenAIがやりたいことは、消費者の意図を解明することです。」ユーザーの金融データにアクセスできることは、人々がお金を管理するのを助けることよりも、同社が収益化できるプロファイルを完成させることに関係しています。OpenAIはすでにチャット履歴から驚くほど正確なユーザー像を構築しています。そこに取引データを追加すると、以前はなかった詳細が得られます：誰が何のために貯金しているのか、何に不安を感じているのか、実際にどこにお金が使われているのか。これは広告主にとって非常に価値のあるデータ資産です。

このパターンは以前にも見られました。Andreasが指摘したように、企業は長年にわたって潜在的に侵入的なデータを保持し、製品を推奨するために利用してきました。Targetの妊娠予測の話は10年以上前のものですが、行動データを組み合わせてユーザーが明示的に開示していないことを推測する方法と、効果的なレコメンデーションと過度にパーソナライズされた感じの間の微妙な線を浮き彫りにし、企業がユーザーについてどれだけの情報を持っているかを思い知らせるため、今でもビジネススクールで教えられています（Andreas自身も教えています）。Mayaによれば、企業のプロファイル構築能力は変わっていませんが、AIチャットが新たなひねりを加えています。会話型インターフェースは開示を自然に感じさせるため、チャット履歴に基づくナレッジグラフは非常に強力です。そして、これらのツールは従来の手段よりもレコメンデーションを共有するのに適しています。「このような協力的で魅力的なスタイルを持つことで、それらのレコメンデーションは通常の検索エンジンに入力する文の断片よりもはるかに定着しやすくなる」とMayaは説明しました。

専門スキルとしてのメタ認知

大量の入力の平均化によって答えを生成するシステムに思考を委任する場合、その答えがいつ十分なのか、いつ不十分なのかを知る必要があります。「私たちは本質的に平均化されている」とDougは言います。モデルは平均応答を見つけるために舞台裏で多くのことを行っています。人間の仕事は、疑問について質問し、最初の答えを超えて押し進め、自分の判断がまだループ内にあるかどうかを知ることです。これが、Dougがメタ認知、つまり「思考について考えること」への関心を再び呼びかけている理由です。仕事に関連しない認知負荷をオフロードすることは問題ないとDougとMayaは同意しました。しかし、仕事の価値の中核にある推論をオフロードすること（Dougが「認知的降伏」と呼ぶもの）は、組織が問題に陥るところです。

将来の優位性はAIへのアクセスからはもたらされません。誰もが何らかのアクセスを持つでしょう。優位性は、何をオフロードし、何に疑問を持ち、何を決して人間の判断から離すべきでないかを知ることからもたらされます。これは哲学的な問題であると同時にスキル開発の問題でもあります。AIツールを最も効果的に使う人は、最も多く使う人ではなく、何を委任し何を保持すべきかを理解している人です。それには、ドメイン知識、モデルの答えがもっともらしいが間違っている場合を判断する能力、そしてこれらのシステムがどのように機能するかについての十分な流暢さ（平均値ではなく答えを渡されているときを認識するため）が必要です。

トークンマクシングと誤ったインセンティブ

トークンマクシング（Tokenmaxxing）の議論は頂点に達しつつあります。Amazonは、従業員がトークン使用量を稼ぐために非効率なコードを書いた後、AI生産性リーダーボードを廃止しました。また、ある企業は制限を設定しなかったため、1か月でAnthropicトークンに5億ドルを費やしたと報告されています。トークンマクシングを奨励する企業は間違った指標を促進しているとMayaは主張します。「それは、どのパン屋が一番かを小麦粉の使用量で判断するようなものです。正しい質問は『質の高い製品を作っているか？』です。」

Andreasは自身の「バイブコーディング」体験を、トークン消費と技術負債が実際にどのように累積するかの例として共有しました。開発者は控えめな計画から始め、30分でエージェントを実行してクォータを消費します。彼らはより高いティアにアップグレードし、5倍の料金を支払いますが、今度はサンクコストの論理が働きます。Andreasが指摘したように、今では彼らは「サブスクリプションから5倍の価値を得るべき」と感じ、範囲が単一のツールから統合ビジネスオペレーティングシステムに拡大します。3週間後、累積された複雑さは評価能力を超えています：繰り返されるセキュリティ監査が新しい問題を次々と明らかにし、各パスがほとんどのバイブコーダーが持っていないサイバーセキュリティの専門知識を必要とする推奨事項を生成します。ここでDougのメタ認知のポイントが当てはまります：構築者がシステムが実際に何をしているかを積極的に理解することに多くの時間を費やすほど、それが機能しているかどうかについての判断が向上します。関与の少ないユーザーの場合、リスクは出力を受け入れ、負債を出荷し、後で結果を発見することです。

ほとんどのミスアラインメントは、経営陣がAIに期待することと、実践者が日常的に扱うこととのギャップに起因しています。経営陣は生産性の傾きを変える可能性のある能力を見ているとMayaは説明します。エンジニアやアナリストは、技術負債、バージョン管理の問題、規制上の制約と共に生きており、これらはより良いコード補完ツールを持っているからといって消えるわけではありません。リーダーボードの問題はその断絶の症状です。GitHubが最近Copilotの無制限使用から使用量ベースの価格設定に移行したことは、社内のポリシー変更よりも早くこれらのインセンティブを再調整する可能性があります。CFOが実際の請求書を見始めると、リーダーボードはすべて撤去されるでしょう。

DougはLLMへの「認知的降伏」に関連する別の問題を特定しました。組織がガバナンスなしに内部プロセス、独自のロジック、組織知識を基盤モデルにパイプするよう従業員に奨励するとき、彼らは単にトークン請求書を増やしているだけではありません。彼らは自分たちを差別化する運用知識を明け渡しているのです。プロセス文書、ワークフローロジック、特定の決定がなぜ行われたかに関する組織記憶はすべて知的財産の形態であり、一旦それらが汎用モデルにエンコードされると、それらから得られる組織の優位性は減少します。

前方展開エンジニアだけでは不十分

これらの課題に対する答えは、モデルが生成するものと組織が実際に必要とするものとの間を橋渡しするために、熟練したエンジニアを顧客環境に直接配置することでしょうか？それはAI企業によって普及された前方展開エンジニア（FDE）アプローチの約束です。DougとMayaは両方ともこのモデルにいくつかの批判をしました。

Mayaの異議は構造的なものでした。エンタープライズAI導入は、既存のインフラストラクチャに機能を追加するだけの問題ではありません。組織はサイロ化されたデータ、レガシーシステム、規制上の制約を抱えており、これらは前方展開エンジニアが技術的スキルだけで解決できるものではありません。「AIをちょっと振りかけるだけで、トークンのパッケージでうまくいくわけではない」と彼女は言いました。エンジニアは、特定のデータが使用できない理由、または特定のモデルを規制されたコンテキストで展開できない理由の背景を理解する必要があります。新しい組織に入ってくるFDEにはこの理解がなく、その結果、慎重に行われ、どこにも明示的に記録されていない理由で行われた決定を元に戻す可能性があります。

Dougの懸念はコミュニケーションについてでした。彼の経験では、FDEは強い技術的直感と限られた組織的コンテキストを持って到着する傾向があります。彼らはすぐに作業に取り掛かりますが、関与する利害関係者のフルスタック全体とコミュニケーションするのに苦労します。これがビジネスアナリストが存在する理由です。エンジニアが問題に対処する前に、顧客の問題と実際のプロセスを理解するためです。このステップをスキップすると、技術的には正しいが間違った問題を解決する出力が得られます。

MayaとDougの両方が強調していたのは、エンタープライズレベルのAI導入は基本的にコンテキストの問題であるということです。モデルは有能です。難しいのは、どの機能を、どこに、どのような制約の下で適用するかを知ることです。その知識はモデルにはなく、組織内で十分に長く働き、なぜ物事がそのようになっているのかを知っている人々にあります。

測定の問題

このエピソードのすべてのトピックは同じ質問に戻ります：私たちは実際に何を測定しているのか？そして、その測定によってどのようなインセンティブを設定しているのか？トークン数やコード行数は、企業が望む結果と常に相関するとは限りません。企業が達成したい目標と、そこに到達するために何を測定すべきかを把握するには、人間の専門知識とビジネスの文脈知識が必要です。

来週月曜日の『今週のAI』では、RecoMind創業者Miguel FierroがホストのChristina Stathopoulosと共に、責任あるAI、マルチモーダルコンテンツ作成、そしてLLMがパーソナライゼーションとユーザー理解をどのように変えているかについて議論します。Miguelはまた、次世代のレコメンデーション体験のプレビューを提供するライブデモをリードします—こちらから登録してください。私たちは毎週金曜日にRadarで要点を公開し、YouTube、Spotify、Apple、またはお好みのポッドキャストプラットフォームで完全なエピソードを共有し続けます。