アマゾンのSaaSエコシステムでは、ほぼすべてのツールが人工知能を使用していると主張しています。リスティング最適化ツール、広告プラットフォーム、分析ダッシュボード、レビューマネージャーなど、「AI」という言葉はあらゆるランディングページに表示されています。その理由は単純で、コンバージョン率を高めるからです。しかし、実際にはその主張が意味することを実行しているツールはほとんどありません。これは悪意を非難するものではありません。業界全体に広がった語彙の問題です。
著者は統計学の博士号を持ち、機械学習を研究してきました。彼は、これらのツールが使用する特定の技術を批判しているのではありません。以下で説明する3つの層はいずれも優れた製品を生み出す可能性があります。彼が批判しているのは、多くのツールが実際の動作と一致しない言葉で自分自身を説明していることです。
注目すべきフレーズは、「当社のAIはアマゾンデータで学習している」または「当社のモデルはお客様のビジネスを時間とともに学習する」というものです。技術的に正直な使い方では、「学習」とは、SaaSがオープンソースモデル（LlamaやMistralなど）をベースに、独自のデータセットで追加学習を行い、モデルの重みを変更することを意味します。これは費用がかかり、真の専門知識を必要とし、中堅市場のSaaSではまれです。しかしマーケティング用語では、「学習」は通常、以下のいずれかを意味します。アマゾンを詳細に説明するシステムプロンプトを作成する（ベースモデルは未修正）、クエリ時に過去のデータを取得する検索システムを構築する（RAG）、またはユーザーフィードバックメカニズムを持つ。これらは技術的な意味での学習ではありません。
この違いが重要なのは、学習されたモデルは永続的な改善をもたらすのに対し、プロンプトベースのシステムはそうではないからです。競合他社が明日わずかに良いプロンプトを書けば、「アマゾンデータで学習」したツールに一夜にして追いつくことができます。本当に学習されたモデルがあれば、再現には数ヶ月と多大なリソースが必要です。
この語彙の問題は、購入者に3つの実際的な問題を引き起こします。第一に、製品を比較できない。第二に、デモ以外での動作を予測できない。第三に、耐久性を評価できない。LLM APIのラッパーは防御性がなく、誰でも構築できます。ツールの価値全体が「GPTをプロンプトエンジニアリングしてアマゾンについて語らせる」ことにあるなら、その価値は脆弱です。
正直なバージョンは次のようになります。「私たちは大規模言語モデル（具体的にはClaudeとGPT）を使用して、お客様のアマゾンビジネスに関する質問に答えます。これらのモデルを学習することはありません。注意深く設計されたプロンプトシステムと、各クエリに関連データを引き出す検索層を構築しました。モデルの能力は基礎となるアーキテクチャに依存し、質問とコンテキストの構造を改善することで結果を向上させます。」これは退屈ですが真実であり、購入者は自分が何を得ているかを正確に理解できます。
著者は、AIという言葉はSaaSマーケティングで無意味になるまで一般化されたと述べています。中小規模のSaaSが自社の基盤モデルを学習することはほとんどありませんが、それは問題ではありません。3つの層は購入者にとって重要です。ルールベースシステム、真の機械学習、LLM APIラッパーは、異なる特性、障害モード、長期的な防御性を持つ異なる製品です。購入者は自分がどれを得ているかを知る権利があります。
評価する際の有用な質問は、「AIはあるか？」ではなく、「インテリジェンスはルールベースか、機械学習か、LLMベースか？」「ツールは独自モデルを学習するのか、それともAPIを呼び出すのか？」「ツールが間違った場合、何が起こるのか？」です。構築者にとっては、自分が実際に何をしているのか、そしてそれを正確に説明する用意があるかどうかが問われます。