Mira Murati率いるThinking Machines Lab、カスタマイズ可能なモデル重みに基づく人間中心AIの技術的根拠を提示

Thinking Machines Labは、人間の意思と判断を拡張するAIを構築するための報告書「The Future Worth Building Is Human」を公開した。Mira Muratiが率いるこの研究所は、現在のほとんどのAIが少数の場所で訓練され凍結されていることに問題意識を持ち、この設計がモデルがサービスを提供する人々を排除していると主張する。代わりに、AIは分散化され、カスタマイズ可能で、そのユーザーによって形成されるべきだとしている。

報告書は四つの技術的方向性を示す。第一に、マルチモーダルな相互作用とカスタマイズ性を備えた強力なモデルの訓練。第二に、人々が自分でモデル重みを微調整・訓練できるツールの構築。第三に、人間と機械のコミュニケーションチャネルを広げるインターフェースの開発。第四に、研究を公開し、より多くのエンジニアがモデルの作り方を理解できるようにすること。これらの方向性は、知識とアライメントの両方をユーザーに近づける。

これらの背後には知識自体に関する主張がある。多くのノウハウは暗黙的で局所的であり、フィードバックを通じて常に更新される。レシピを改良するシェフがそのスキルをデータベースに書き込むことはできない。報告書はMichael PolanyiとFriedrich Hayekを引用してこれを支持する。中央計画が失敗するのは、そうした知識が私的で儚いものであり、希少ではないからだ。したがって、AIは分散型でなければならず、分散した知識を活用すべきだと論じる。AIは知識を抽出して置き換えるのではなく、組織がその知識を育むのを助けるべきだとしている。

チェスと数学は例外であり、両方とも静的で表現可能な目標を持ち、隠された知識はない。そのため、自己対戦や自律的解法はそこでうまく機能する。しかし、そうした閉じた領域を除けば、知能だけでは不十分だと報告書は指摘する。

既知の二つの制約を工学的目標として再定義する。一つはコミュニケーションチャネル：小さなテキストボックスと長い待ち時間。これに対し、研究所のインタラクションモデルは、オーディオ、ビデオ、テキストを継続的に入力し、約200ミリ秒のマイクロターンを用いる。もう一つの制約は評価自体：METRのようなベンチマークはモデルが単独で動作する時間を測定するが、報告書はこれが人間と機械の協同を見落としていると主張する。

インターフェースを超えて、報告書は価値観がどこにあるのかを論じる。単一のアライメント権威は単一の捕捉点になると警告する。プロンプトは表面の振る舞いを変えるが、深いモデルの習慣は固定されたままである。したがって、価値観はプロンプトではなくモデル重みに符号化されるべきだと主張する。ここでTinker APIがエンジニアにとって具体化する。TinkerはLlamaやQwenのようなオープンウェイトモデルをLoRAで微調整する。低レベルのプリミティブを公開し、ポータブルなアダプター重みのエクスポートを可能にする。サンプルコードでは、Tinker APIを使用した単純な教師あり学習ループを示し、前向き・逆伝播・最適化ステップを経て、微調整後の重みを保存する。

報告書は、その立場を現在のデフォルトアプローチと対比する。集中型凍結AIでは、モデルは少数の研究所で訓練されその後凍結されるが、Thinking Machinesの分散型アプローチでは、作業が行われる場所で適応される。価値観を形成するのは、前者ではモデルの所有者、後者では組織とそのユーザー。適応方法は、前者ではプロンプトとスキャフォールディング、後者ではTinkerのようなツールによる微調整重み。インターフェースは、前者ではテキストボックスとターンベースの待機、後者ではライブなマルチモーダルインタラクションモデル。アライメントの場は、前者では単一の中央仕様、後者では多様で所有されたモデル。

実際の応用として、病院は自身のプロトコルにモデルを微調整し、データとアダプター重みを社内に保持できる。法律事務所は自社のスタイルにモデルを適応させ、社内ガイダンスが変更されるたびに再訓練できる。サポートチームはライブインタラクションを使用してタスク途中でモデルを修正できる。いずれの場合も、組織は固定モデルをレンタルするのではなく所有権を保持する。

まとめると、報告書は人間参加を能力の制限ではなく技術的課題として扱う。暗黙的・局所的な知識がAI自体の分散を要求する理由である。インタラクションモデルは連続的なマイクロターン型マルチモーダル入力で人機チャネルを広げる。Tinkerはチームが自らの価値観を所有するポータブルなLoRA重みに符号化することを可能にする。研究所はアライメントを一つの中央仕様ではなく、多様で所有された多くのモデルとして位置づける。