LLMは機能するが、あなたの製品はおそらく機能しない

最近、OpenAIは、GPT-5.6 Solが公式ハーネスを使用したARC-AGI-3で13.3%のスコアを達成したと報告しました。保持推論とコンテキスト圧縮を有効にすると、同じモデルが38.3%のスコアを獲得し、出力トークン数は6分の1に減少しました。

同じモデル、同じベンチマーク、異なるハーネス。この結果は、AIベンチマークの読み方を変えるべきです。ChatGPT、Claude Code、Codexは単なるAPIの背後にあるモデルではありません。それらはモデル、コンテキスト管理、ツール、メモリ、権限、実行ループの複合体です。

それ全体が製品なのです。

しかし、何千ものSaaS製品がGPTやClaudeを使用すると主張し、モデルにアクセスできればこれらの製品が示す能力を獲得できると思い込んでいます。それは間違いです。

LLMを使用するすべての企業は、意識するかどうかにかかわらず、すでにハーネスを構築しています。弱いハーネスは優れたモデルを愚かに見せかねません。強力なハーネスはまったく同じモデルを大幅に賢く見せることができます。

私は小型のオープンソースモデルを実験した際に、このことを身をもって経験しました。最初のアプリケーションでは、一部のモデルはほとんど役に立ちませんでした。しかし、コンテキスト、指示、ツールループをそれぞれの強みに適応させた後、それらは実際に有用になりました。

ベンチマークが参入障壁

公開ベンチマークは、1つのモデル＋ハーネスが1種類のタスクでどのように機能するかを教えてくれます。しかし、あなたの製品が実際の仕事を遂行できるかどうかについてはほとんど何も語りません。

サポートエージェントは返金を約束しても実際に作成しないかもしれません。コーディングエージェントは正しい修正を説明する一方でテストを失敗したままにするかもしれません。リサーチエージェントは古い情報や架空の情報源に基づいた説得力のあるレポートを生成するかもしれません。

2025年、ReplitのCEOは、同社のエージェントが本番データベースからデータを削除したことを認め、「許容できない」と述べました。興味深い点はAIが間違いを犯したことではなく、周囲のシステムがその間違いを本番アクションに変えることを許したことです。

したがって、価値がLLMに実質的に依存するSaaSは、独自の内部ベンチマークを必要とします。実際の入力、ツール、権限、障害モードを再現し、モデル、プロンプト、コンテキスト戦略、実行ループを含む完全なデプロイ済みシステムを評価する必要があります。

さらに重要なのは、モデルがどれほど説得力があるかではなく、最終状態をテストすることです。返金は実際に作成されましたか？テストはパスしましたか？情報源は本物ですか？アクションは承認されましたか？

コードで結果を検証できる場合はコードを使用してください。LLMは多くの可能な解決策を生成できますが、権限、計算、ツール結果、最終状態は確定的なチェックで検証する必要があります。

印象的なAIプロトタイプは数日で構築できるようになりました。しかし、それが確実に機能することを証明するにはまだ数ヶ月かかることがあります。真剣な評価には、代表的なケース、専門家によるラベリング、繰り返し実行、敵対的入力、継続的なメンテナンスが必要です。

モデルを変更した場合、ベンチマークを実行する必要があります。しかし、プロンプト、ツールの説明、検索戦略、コンテキストポリシーを変更した場合も同様です。それぞれの変更がわずかに異なるシステムを生み出します。

内部ベンチマークがなければ、チームは製品を改善したのか、単に動作を変更したのかを知ることはできません。

真の製品はAPIの背後にあるモデルではありません。モデル、ハーネス、そしてそれらの組み合わせが機能するという証拠です。その証拠がなければ、AI SaaSはテストされた製品ではなく、本番環境で動くデモに過ぎません。

モデルはコモディティ化しつつあります。ベンチマークこそが参入障壁です。