Show HN：智能體數據工程
本文介紹了智能體數據工程的概念，即利用自主AI智能體從自然語言意圖設計、構建和維護數據管道，與傳統的自動化、AI副駕駛及人工數據工程的區別，以及如何通過“繮繩”層（包含驗證、語義模型、CI/CD等）確保智能體的安全性和可靠性。文章還討論了信任問題、治理控制、對數據工程師角色的影響以及未來發展方向。
智能體數據工程（Agentic Data Engineering）是2026年數據領域的一個新興實踐。它利用自主AI智能體，根據自然語言意圖設計、構建和維護數據管道，將工程師從逐行編寫SQL轉化步驟中解放出來，僅在最後環節進行人工審核批准。與傳統的數據工程不同，智能體數據工程的核心在於“智能體”——它能夠自主感知數據狀態、推理下一步行動、執行操作、讀取結果並循環迭代，直到達成目標。
智能體與靜態自動化（如cron任務或Airflow DAGs）有本質區別：靜態自動化執行預先編寫的固定序列，而智能體則根據環境動態調整。與AI副駕駛（如編輯器中的自動補全）也不同：副駕駛在人類控制下提供下一行建議，而智能體自主規劃步驟。此外，智能體數據工程區別於智能體分析（Agentic Analytics）：後者在已存在數據層進行查詢和BI工作，而智能體數據工程則構建和維護產生數據的管道和模型。
在實踐中，智能體數據工程的工作流程通常包括四個階段：數據攝取（從應用、CRM等來源加載原始數據）、轉換（編寫dbt模型將原始錶轉化為業務就緒表）、語義層（編碼業務定義如“活躍用户”）、以及服務（通過儀表盤或MCP協議供查詢）。用户在描述所需指標後，智能體自動探索數據倉庫、編寫模型並運行測試。
文章強調，模型的真正瓶頸並非其自身能力，而是“繮繩”（harness）——圍繞模型構建的軟件層，用於確保輸出安全可靠。繮繩包括數據血緣、業務語義、訪問策略、驗證循環、數據契約、CI/CD和審計追蹤。通用智能體在數據任務上準確率較低，而通過繮繩約束後，text-to-SQL準確率可從51%提升至90%以上。
信任問題是智能體數據工程的最大挑戰。營銷材料通常回避如何讓智能體安全地接觸生產數據。解決方案並非依賴信任，而是通過工作流程控制：變更以拉取請求形式提交，智能體從不直接寫入生產；權限按任務作用域和時限分配；所有操作均記錄審計日誌。這些技術控制確保錯誤在審查階段被捕獲，而非在午夜的生產事故中。
智能體數據工程不會取代數據工程師，而是改變其工作性質。重複性建設任務（如樣板模型、測試支架、文檔編寫）由智能體承擔，而人類則聚焦於定義意圖、審核智能體的成果、以及維護語義層和治理體系。未來的稀缺技能將是判斷“正確”是什麼的能力，而非編寫SQL的速度。
當前市場上，工具如RevOS等正致力於構建這一繮繩層，通過集成數據攝取、dbt轉換、Cube.dev語義層、Git版本控制和BigQuery倉庫，讓智能體從一開始就擁有模式定義和業務上下文。智能體完成後，驗證循環自動運行，變更通過CI/CD管道以PR形式提交，人類審核後合併。
智能體數據工程的未來方向包括：提高多步驟推理能力、增強跨系統協作（如通過MCP協議）、以及降低使用門檻。但要實現大規模應用，核心仍在於構建可信的繮繩層。