Prefect收購Dagster：又一重大Airflow競爭對手合併，但並非數據管道故事

Prefect，這家以同名開源數據管道和工作流編排器聞名的公司，近日宣佈收購Dagster——Apache Airflow的另一大重要替代品。這筆交易尚未正式完成，但已將兩家最具實力的Airflow挑戰者納入同一家公司旗下。Dagster（開源編排器）和Dagster+（全託管雲版本）將繼續保留現有名稱、定價和產品路線圖，Dagster團隊約40名成員將加入Prefect。

Prefect創始人兼CEO Jeremiah Lowin在週一發佈的LinkedIn帖子中解釋，此次收購着眼於AI智能體可靠運行所需的各種組件：明確界定的目標，以及當智能體自身決策導致路徑偏離時靈活應變的能力。Lowin認為，Dagster負責目標設定——定義並追蹤結果；Prefect負責執行——運行實際工作；而FastMCP（Prefect自有工具）則控制智能體在途中可接觸的外部系統。

Lowin寫道：“現代編排領域有了新的重心。”他強調，此次收購旨在創造規模效應。七年前，Prefect和Dagster同時作為Airflow的挑戰者登場，當時Airflow是團隊調度和運行數據管道的默認工具。Prefect致力於為Python開發者簡化生產級工作流編排，使其更可靠；Dagster則專注於讓數據管道更易定義、理解和驗證，更強調管道應產出什麼，而非僅僅執行任務序列。

Lowin指出：“多年來，Prefect和Dagster相互提升，也提升了整個領域的標準。競爭催生了兩個卓越的產品和兩個數據生態中最強大的開源社區。”如今，兩家公司為運行管道而建立的各自主力正在被延伸至更廣闊的場景——Prefect押注這些能力同樣將是智能體工作負載所需的核心。

事實上，兩家公司早已圍繞AI智能體進行重新定位。2024年，Prefect 3.0明確聚焦支持智能體工作流；一年後，Dagster推出Components，提倡用可複用的YAML構建塊而非手寫Python來構建管道，隨後又推出Compass，讓分析師通過Slack發送自然語言查詢數據，無需編寫SQL。然而，這些都不及Prefect開發的FastMCP影響力大。FastMCP基於Anthropic於2024年底發佈的開源標準Model Context Protocol (MCP)，讓AI模型發現並調用外部工具和數據。Prefect在MCP發佈當月即推出FastMCP，Anthropic後來將其採納為MCP的官方Python SDK。

此次收購對Dagster早期舵手影響深遠。Dagster創始人Nick Schrock（2022年從CEO轉任CTO，為Pete Hunt讓路）與Hunt一同被列為“戰略顧問”，但Schrock週一發佈的博文更像是一次徹底告別。他寫道：“我想分享一個消息：我將離開項目和公司。”Schrock的離去標誌着Dagster一章的結束，但收購本身開啓了新篇章——Prefect押注，兩家公司多年為數據編排積累的理念，在AI智能體進入生產階段時將同樣珍貴。