AIモデルの選び方：NotionとGammaから学ぶ教訓

AIモデルの選択において、NotionとGammaは深い洞察を提供しています。2年前は、最良のAPIを呼び出してその周りに構築するだけでモデル選択は簡単でした。しかし今日では、モデルごとに動作が異なり、同じタスクでもコストが10倍以上異なることがあり、オープンウェイトモデルはクローズドモデルとほぼ同等の性能を持っています。さらに、インテリジェンスを提供するラボは、そのインテリジェンスを購入する企業と競合する製品も出荷しています。

Basetenが主催したパネルディスカッションでは、NotionのAI責任者Sarah Sachs氏とGammaの共同創業者Jon Noronha氏が、この状況をどう乗り切るかについて6つのポイントを共有しました。

第一に、単一のハーネスはすべてのモデルを弱体化させます。ハーネスとは、LLMを実際に機能させるためにその周りに構築されるすべてのものです。モデル自体にはメモリがなく、コードの実行やAPI呼び出しができず、危険な行動を自分で止めることもできないため、ハーネスがこれらすべてを処理します。モデル非依存のハーネスは失敗します。なぜなら、あるモデルの失敗モードを回避するために書かれたプロンプトは、そのような失敗モードを持たないモデルの性能を低下させるからです。各モデルのネイティブハーネスを採用し、それをユースケースに合わせて修正すべきです。

第二に、モデル切り替えはエンジニアリングコストに見合う価値があります。モデルごとの投資は高くつきますが、単一モデルにコミットするよりも安上がりです。理由は3つ：信頼性（プロバイダーが劣化した場合に移行できる）、コスト（より安いモデルが品質基準を満たせば置き換えられる）、採用速度（新しいモデルが登場したら数日でテストでき、再設計に数週間かからない）。モデルを正しく比較するために、企業はA/Bテストを使用し、実際のユーザーに異なるモデルが生成したバージョンを表示して、どちらが実際に優れているかを確認します。

第三に、リーダーボードではなくワークフローごとにモデルを選びます。GPTモデルは逐語的で、指示通りに正確に実行します。Claudeモデルは意図を推測するのが得意です。Gammaの例では、ユーザーが「すべての単語を保持して」と要求すると、GPTはすべての単語を保持してスライドにテキストの壁を作りますが、Claudeは要点を保ちつつ実際に発表できるプレゼンテーションを作ります。Notionは、一部のタスク（ページ編集、チケットのトリアージ、会議メモの要約）では高度なモデルを使う必要がなく、よりスマートなモデルによる品質差は測定できないと指摘しています。

第四に、オープンウェイトモデルは追いついてきました。多くの本番ワークロードで、オープンウェイトモデルは最先端のクローズドモデルと同等であり、サービング速度やファインチューニングにおいてはるかに多くの調整が可能です。これにより、クローズドモデルでは対応できない市場が開かれます。Gammaの収益の4分の3以上は米国外からのもので、その多くはブラジルやインドなど支払意欲が低い国々であり、より安価なオープンウェイトモデルがこれらの価格帯で製品を viable にしています。プロバイダーも評価すべきで、同じ重みでも異なるプラットフォームで異なる最適化により品質が変わります。

第五に、ファインチューニングはマージンではなく市場を拡大するために行います。ファインチューニングの明白な動機はマージンですが、それ以上に、タスクごとに安価なインテリジェンスを提供することでAI対応作業の障壁を下げ、市場を拡大します。強化学習（RL）はさらに進んで、自社のタスクでモデルを訓練し、成功した出力に報酬を与え失敗を罰します。RLは投資であり、製品市場フィット後の爆発的な成長の前には行うべきではないとされています。

最後に、彼らが次に構築しているもの。Gammaは画像生成を組み込みたいと考えていますが、LLMに比べて進歩が遅く、適切なタイミングを待っています。Notionは、信頼できない入力、内部データへの広範なアクセス、それに基づく行動の「致死的な三要素」に対処するための権限システムとデータ漏洩防止を構築したいと考えています。

まとめると、今こそモデルを異なる方法で選ぶ時です。適切なテストでモデルを比較し、信頼性とコストのために切り替え、タスクに適したモデルを選択し、デフォルトで最も強力なものに頼らないこと。オープンウェイトモデルは現在、ほとんどの本番ワークロードに十分強力であり、適切なプロバイダーが高品質な出力でサービスを提供するのに役立ちます。