AI為何需要基於Postgres和ClickHouse的數據層

在過去的幾年中，我與數千家使用Postgres和ClickHouse的公司合作，見證了人工智能如何改變應用程序對數據庫的需求。每一個AI應用本質上都是數據應用：代理產生海量操作數據，用户期望基於這些數據獲得實時答案，往往在同一請求中實現。這改變了應用對數據庫的要求。

本文旨在探索AI應用對數據層的實際需求，為什麼Postgres和ClickHouse日益成為這些工作負載的自然組合，以及我們為開發者提供該組合所做出的投入。

簡而言之：AI以前所未有的規模加速數據增長，並正在打破傳統事務處理（OLTP）與分析處理（OLAP）之間的界限。滿足這些需求需要最佳的開源數據庫——Postgres和ClickHouse，各自擅長其設計目標，同時無縫協作。

AI的需求及其對數據格局的改變

AI原生應用生成的數據遠超傳統軟件。每次提示、響應、工具調用、評估和用户交互都成為數據，推動數據量和查詢併發量的爆炸式增長。一組數據表明，在使用Postgres和ClickHouse的AI原生公司樣本中，六個月平均數據增長超過1000%，新增超過85TB數據。

此外，當AI從“vibe-coding”應用轉向生產系統時，權衡也在改變。應用正做出關鍵決策，並在更大表面積和規模上運行，提高了數據層的可靠性和安全性門檻。

為跟上這些需求，AI需要一個能夠實時攝取、處理和大規模查詢數據的數據層，且始終可用和安全。快速配置和即時分支固然好，但若底層數據棧不快、不可靠或不安全，則意義不大。

AI需要OLTP與OLAP實時協作

基於LLM的應用、AI生成的洞察、異常檢測、推薦引擎和自然語言界面都需要事務數據庫與分析數據庫之間更緊密的反饋循環。寫入事務數據庫的數據必須幾乎立即可用於分析查詢。

在這些場景中，傳統的每小時或每分鐘ETL模式已經不夠。事務和分析數據庫必須實時運行，從數據寫入到可用於分析僅隔數秒。

開源基礎和成本的重要性

AI基礎設施也正在發生類似轉變。隨着團隊對專有LLM鎖定和不斷上升的令牌成本越來越警惕，他們也在重新考慮數據棧的靈活性和經濟性。開源數據庫兩者兼顧：提供自託管或託管部署、自由切換供應商以及通常更低的成本。

為什麼Postgres + ClickHouse勝出

上述需求正在重塑AI原生公司的數據棧選擇。Postgres和ClickHouse正日益成為默認選擇，結合了最佳實時事務和分析能力，並基於強大的開源基礎。

Postgres是全球最流行的開源事務數據庫，提供堅實的事務支持，包括低延遲CRUD、ACID合規、豐富索引、完整SQL接口、強大的擴展框架以及廣泛的ORM和應用生態系統。ClickHouse則是全球最快的分析數據庫，提供列式存儲、跳躍索引、增量物化視圖、分佈式緩存、原生JSON和全文搜索等專用功能。兩者都已達到企業級標準。

它們共享相同的開源理念，擁有龐大活躍的社區。Postgres最近慶祝了30週年，ClickHouse則慶祝了10週年。

開發者喜愛Postgres和ClickHouse。Postgres擁有業內最豐富的工具和集成生態系統，而ClickHouse結合了熟悉的SQL、簡單的本地開發和開箱即用的分析性能。它們共同提供了“開箱即用”的體驗。這體現在其廣泛採用上，從數萬家初創公司到GitLab、Instacart和Cloudflare等企業。

用Postgres和ClickHouse統一OLTP和OLAP

我們的方法很簡單：擁抱Postgres和ClickHouse作為OLTP和OLAP的領先開源數據庫，並使它們之間的集成儘可能地無縫和原生。

我們投資了多個項目：數據移動方面有PeerDB（驅動ClickPipes for Postgres），提供秒級複製的CDC；查詢方面有pg_clickhouse擴展，允許從Postgres直接查詢ClickHouse；可觀測性方面有pg_stat_ch，將Postgres查詢遙測流到ClickHouse。我們還推出了由ClickHouse管理的Postgres服務。

比較最佳組合與統一存儲架構

數據庫行業在過去十年多次嘗試將OLTP和OLAP統一到單一引擎。也有架構圍繞統一存儲和數據湖構建。這些方法在技術上很有趣，但將開發者綁定到專有平台，並要求單一系統優化根本不同的工作負載。OLTP和OLAP的存在是有原因的：行存儲和列存儲分別針對不同的訪問模式。

同樣，數據湖擅長數據倉庫用例，但並非為實時、高併發客户和應用設計。可以在此基礎上疊加操作能力，但仍受限於開放表格式和通用存儲層，難以匹配例如MergeTree等專用引擎的性能。

這種區別也反映了我們在ClickHouse的策略：最佳組合。我們專注於使MergeTree成為實時分析的最佳引擎，同時為數據倉庫用例圍繞開放表格式持續創新。

AI的未來是一個最佳組合的數據棧

AI並沒有使OLTP和OLAP區別消失，反而使其更加重要。定義這個時代的應用需要能夠可靠捕捉每次交互的事務數據庫、能夠實時處理數據的分析數據庫，以及兩者之間的無縫集成。

我們相信未來不屬於試圖優化根本不同工作負載的單一專有平台，而是基於Postgres和ClickHouse的開放最佳組合數據棧，每個數據庫各司其職，協同工作。這就是我們正在構建的願景：從企業級CDC到pg_clickhouse，每一項投資都旨在使Postgres和ClickHouse對開發者而言像一個統一的集成棧。