ベンチマーケティングからベンチマキシングへ：40年のデータベース評価がAIデータリーダーに教えること
AI分野におけるベンチマークのマーケティング利用（Benchmarketing）の問題を指摘し、データベース業界の40年の経験から、データリーダーは自社の実ワークロードに基づいた評価システムを構築すべきだと提言する。
記事インテリジェンス
要点
- AIベンダーがベンチマークをマーケティングに悪用し、信頼が損なわれている。
- データベース業界でも同様の問題が起き、TPCが対策を試みたが形骸化した。
- データチームは実際の業務に即したカスタム評価を作るべき。
- ADE-BENCHのようなオープンソースツールが評価構築を支援する。
重要な理由
このニュースが重要なのは、AIベンダーがベンチマークをマーケティングに悪用し、信頼が損なわれているためです。
技術的影響
モデル選定、推論コスト、プロダクト能力、評価基準に影響する可能性があります。
AIの急速な普及により、テクノロジー業界全体がベンチマーク中毒に陥っている。本稿の著者は10年以上のデータ基盤構築経験を持ち、現在はエージェントシステムを開発している。その経験から、AIベンダーが公表するベンチマーク結果はマーケティング目的で歪められており、実際の調達判断には役立たないと指摘する。
この問題はデータベース業界の歴史を振り返れば明らかだ。1980年代、OracleやSybaseなどが自社に有利なテストを考案し、ベンチマークを販促道具に使った。業界は1988年にTPCを設立して標準化を試みたが、結局ベンダーは条件をすり抜ける方法を見つけ、ベンチマーケティングは繰り返された。TPCの会員数は1995年の54社から2022年には21社に減少し、ベンダーはTPCクエリのサブセットだけを実行して監査を避けるなどの抜け道を発見した。Jim Grayが指摘したように、単一のベンチマークですべてのアプリケーションを測定することはできず、評価は顧客が実際に気にするワークロードに基づくべきである。データベース調達では、まず標準ベンチマークで基本的な能力をフィルタリングし、次に自社のデータとクエリで最終判断を行うという二段階プロセスが長年使われてきた。
AI分野では状況はさらに悪化している。モデル汚染によりベンチマーク結果の信頼性が損なわれ、質問のフォーマットを変えるだけで精度が5%前後変動することもある。TPCに相当する中立的な第三者機関は存在せず、学界が主導するベンチマークは中立性を保つものの産業ニーズと乖離している。このような状況下で、データリーダーはデータベース業界の教訓に学び、自前の評価システムを構築すべきである。
評価システムを一から設計する必要はなく、既存のインフラを活用できる。著者はADE-BENCHを推奨している。これはdbt Labsが主導するオープンベンチマークで、ベンダー中立を掲げ、単純なテキストからSQLへの変換だけでなく、データチームが実際に扱うマルチステップのタスクをカバーしている。自社のデータをロードし、カスタムタスクを実行することで、ベンダーのマーケティング情報に惑わされず、実際の環境でのパフォーマンスを評価できる。
このアプローチを取らないチームは、リーダーボードのスコアと華やかなデモに惑わされ、数ヶ月かけて統合したツールが実際の環境で役立たずであることに後で気づく。予算と時間を無駄にしないためにも、データリーダーは自前の評価システムを構築し、ベンダーとの会話の主導権を握るべきである。