從基準營銷到基準最佳化：40年資料庫評估經驗給AI資料領導者的啟示
本文探討了AI領域基準測試（Benchmarketing）的現狀與問題，借鑑資料庫行業40年來的評估經驗，建議資料領導者構建自己的評估系統，以真實工作負載而非供應商資料作為採購決策依據。
文章情報
要點
- AI基準測試被供應商用於營銷，導致信任危機。
- 資料庫行業曾經歷類似問題，TPC標準試圖解決但最終被鑽空子。
- 資料團隊應建立自定義評估，以實際工作負載篩選供應商。
- 開源工具如ADE-BENCH可幫助快速搭建評估體系。
為什麼重要
這條新聞值得關注，因為AI基準測試被供應商用於營銷，導致信任危機。
技術影響
可能影響模型選型、推理成本、產品能力和評測基準。
在AI浪潮席捲整個科技行業的今天，基準測試（Benchmark）已經從一個工程工具異化為供應商的營銷武器。從資料庫領域走來的老兵深知，這種被稱為“Benchmarketing”的現象並非新鮮事——早在1980年代，Oracle、Sybase等資料庫廠商就開始用自創的測試標準來證明自家產品效能最優。如今，AI領域正在以更大的規模重演這段歷史。
作者以自身超過10年的資料基礎設施構建經驗為基礎，指出當前AI供應商釋出的基準測試結果對實際採購決策幾乎毫無價值。這些測試往往在理想化環境中執行，甚至存在模型汙染（訓練資料包含測試集）等資料庫時代不存在的問題。更糟糕的是，沒有任何第三方中立機構像當年的TPC（事務處理效能委員會）那樣來規範標準。
然而，資料庫行業40年的經驗已經給了我們答案：將供應商提供的基準測試僅作為初步篩選工具，然後用自己的真實工作負載來驗證。具體而言，資料團隊應當從生產環境中提取樣本資料、編寫有代表性的查詢任務，而不是依賴供應商精心最佳化的演示。作者強調，這並非需要從零開始設計複雜的評估框架——像ADE-BENCH這樣的開源專案已經提供了現成的工具，可覆蓋資料團隊實際面臨的多重任務場景。
回顧歷史，1980年代資料庫廠商的基準營銷戰催生了TPC，但TPC最終也未能完全杜絕作弊行為，會員數量從1995年的54家降至2022年的21家，廠商透過摘取子集和規避審計重新鑽了空子。Jim Gray曾指出，沒有單一基準能衡量所有應用，評估必須基於客戶的實際工作負載。因此，真正明智的採購流程分為兩步：先用標準基準篩選具備基本能力的系統，再用自己的資料和工作負載做最終決定。
在AI領域，情況更為嚴峻：模型汙染使得基準測試結果不可靠，甚至改變提問格式就能使準確率波動5%。目前缺乏類似TPC的中立機構，學術界主導的基準評測雖保持中立，卻往往與行業需求脫節。面對這種局面，資料領導者應當借鑑資料庫界的做法，放棄對供應商基準的盲目信任，轉而構建自己的評估體系。
構建自評估體系並不需要從零開始。作者推薦使用ADE-BENCH——一個由dbt Labs主導的開源基準工具，專為AI資料平臺任務設計，覆蓋多步驟工作流而非簡單的文本到SQL轉換。透過載入自己資料、執行定製任務，資料團隊能真實反映工具在自身環境中的表現，從而在供應商談判中掌握主動，避免因誇大宣傳而浪費預算和時間。
最終，透過建立自己的評估系統，資料領導者能夠從被動接受營銷資訊轉變為主動篩選供應商，從而在AI工具選型中做出更明智的決策，避免浪費預算和團隊的時間。