AI為何需要基於Postgres和ClickHouse的資料層

在過去的幾年中，我與數千家使用Postgres和ClickHouse的公司合作，見證了人工智慧如何改變應用程式對資料庫的需求。每一個AI應用本質上都是資料應用：代理產生海量運算元據，使用者期望基於這些資料獲得即時答案，往往在同一請求中實現。這改變了應用對資料庫的要求。

本文旨在探索AI應用對資料層的實際需求，為什麼Postgres和ClickHouse日益成為這些工作負載的自然組合，以及我們為開發者提供該組合所做出的投入。

簡而言之：AI以前所未有的規模加速資料增長，並正在打破傳統事務處理（OLTP）與分析處理（OLAP）之間的界限。滿足這些需求需要最佳的開源資料庫——Postgres和ClickHouse，各自擅長其設計目標，同時無縫協作。

AI的需求及其對資料格局的改變

AI原生應用生成的資料遠超傳統軟體。每次提示、響應、工具呼叫、評估和使用者互動都成為資料，推動資料量和查詢併發量的爆炸式增長。一組資料表明，在使用Postgres和ClickHouse的AI原生公司樣本中，六個月平均資料增長超過1000%，新增超過85TB資料。

此外，當AI從“vibe-coding”應用轉向生產系統時，權衡也在改變。應用正做出關鍵決策，並在更大表面積和規模上執行，提高了資料層的可靠性和安全性門檻。

為跟上這些需求，AI需要一個能夠即時攝取、處理和大規模查詢資料的資料層，且始終可用和安全。快速配置和即時分支固然好，但若底層資料棧不快、不可靠或不安全，則意義不大。

AI需要OLTP與OLAP即時協作

基於LLM的應用、AI生成的洞察、異常檢測、推薦引擎和自然語言介面都需要事務資料庫與分析資料庫之間更緊密的反饋迴圈。寫入事務資料庫的資料必須幾乎立即可用於分析查詢。

在這些場景中，傳統的每小時或每分鐘ETL模式已經不夠。事務和分析資料庫必須即時執行，從資料寫入到可用於分析僅隔數秒。

開源基礎和成本的重要性

AI基礎設施也正在發生類似轉變。隨著團隊對專有LLM鎖定和不斷上升的令牌成本越來越警惕，他們也在重新考慮資料棧的靈活性和經濟性。開源資料庫兩者兼顧：提供自託管或託管部署、自由切換供應商以及通常更低的成本。

為什麼Postgres + ClickHouse勝出

上述需求正在重塑AI原生公司的資料棧選擇。Postgres和ClickHouse正日益成為預設選擇，結合了最佳即時事務和分析能力，並基於強大的開源基礎。

Postgres是全球最流行的開源事務資料庫，提供堅實的事務支援，包括低延遲CRUD、ACID合規、豐富索引、完整SQL介面、強大的擴充套件框架以及廣泛的ORM和應用生態系統。ClickHouse則是全球最快的分析資料庫，提供列式儲存、跳躍索引、增量物化檢視、分散式快取、原生JSON和全文搜尋等專用功能。兩者都已達到企業級標準。

它們共享相同的開源理念，擁有龐大活躍的社群。Postgres最近慶祝了30週年，ClickHouse則慶祝了10週年。

開發者喜愛Postgres和ClickHouse。Postgres擁有業內最豐富的工具和整合生態系統，而ClickHouse結合了熟悉的SQL、簡單的本地開發和開箱即用的分析效能。它們共同提供了“開箱即用”的體驗。這體現在其廣泛採用上，從數萬家初創公司到GitLab、Instacart和Cloudflare等企業。

用Postgres和ClickHouse統一OLTP和OLAP

我們的方法很簡單：擁抱Postgres和ClickHouse作為OLTP和OLAP的領先開源資料庫，並使它們之間的整合儘可能地無縫和原生。

我們投資了多個專案：資料移動方面有PeerDB（驅動ClickPipes for Postgres），提供秒級複製的CDC；查詢方面有pg_clickhouse擴充套件，允許從Postgres直接查詢ClickHouse；可觀測性方面有pg_stat_ch，將Postgres查詢遙測流到ClickHouse。我們還推出了由ClickHouse管理的Postgres服務。

比較最佳組合與統一儲存架構

資料庫行業在過去十年多次嘗試將OLTP和OLAP統一到單一引擎。也有架構圍繞統一儲存和資料湖構建。這些方法在技術上很有趣，但將開發者繫結到專有平臺，並要求單一系統最佳化根本不同的工作負載。OLTP和OLAP的存在是有原因的：行儲存和列儲存分別針對不同的訪問模式。

同樣，資料湖擅長資料倉儲用例，但並非為即時、高併發客戶和應用設計。可以在此基礎上疊加操作能力，但仍受限於開放表格式和通用儲存層，難以匹配例如MergeTree等專用引擎的效能。

這種區別也反映了我們在ClickHouse的策略：最佳組合。我們專注於使MergeTree成為即時分析的最佳引擎，同時為資料倉儲用例圍繞開放表格式持續創新。

AI的未來是一個最佳組合的資料棧

AI並沒有使OLTP和OLAP區別消失，反而使其更加重要。定義這個時代的應用需要能夠可靠捕捉每次互動的事務資料庫、能夠即時處理資料的分析資料庫，以及兩者之間的無縫整合。

我們相信未來不屬於試圖最佳化根本不同工作負載的單一專有平臺，而是基於Postgres和ClickHouse的開放最佳組合資料棧，每個資料庫各司其職，協同工作。這就是我們正在構建的願景：從企業級CDC到pg_clickhouse，每一項投資都旨在使Postgres和ClickHouse對開發者而言像一個統一的整合棧。