Prefect收购Dagster：又一重大Airflow竞争对手合并，但并非数据管道故事

Prefect，这家以同名开源数据管道和工作流编排器闻名的公司，近日宣布收购Dagster——Apache Airflow的另一大重要替代品。这笔交易尚未正式完成，但已将两家最具实力的Airflow挑战者纳入同一家公司旗下。Dagster（开源编排器）和Dagster+（全托管云版本）将继续保留现有名称、定价和产品路线图，Dagster团队约40名成员将加入Prefect。

Prefect创始人兼CEO Jeremiah Lowin在周一发布的LinkedIn帖子中解释，此次收购着眼于AI智能体可靠运行所需的各种组件：明确界定的目标，以及当智能体自身决策导致路径偏离时灵活应变的能力。Lowin认为，Dagster负责目标设定——定义并追踪结果；Prefect负责执行——运行实际工作；而FastMCP（Prefect自有工具）则控制智能体在途中可接触的外部系统。

Lowin写道：“现代编排领域有了新的重心。”他强调，此次收购旨在创造规模效应。七年前，Prefect和Dagster同时作为Airflow的挑战者登场，当时Airflow是团队调度和运行数据管道的默认工具。Prefect致力于为Python开发者简化生产级工作流编排，使其更可靠；Dagster则专注于让数据管道更易定义、理解和验证，更强调管道应产出什么，而非仅仅执行任务序列。

Lowin指出：“多年来，Prefect和Dagster相互提升，也提升了整个领域的标准。竞争催生了两个卓越的产品和两个数据生态中最强大的开源社区。”如今，两家公司为运行管道而建立的各自主力正在被延伸至更广阔的场景——Prefect押注这些能力同样将是智能体工作负载所需的核心。

事实上，两家公司早已围绕AI智能体进行重新定位。2024年，Prefect 3.0明确聚焦支持智能体工作流；一年后，Dagster推出Components，提倡用可复用的YAML构建块而非手写Python来构建管道，随后又推出Compass，让分析师通过Slack发送自然语言查询数据，无需编写SQL。然而，这些都不及Prefect开发的FastMCP影响力大。FastMCP基于Anthropic于2024年底发布的开源标准Model Context Protocol (MCP)，让AI模型发现并调用外部工具和数据。Prefect在MCP发布当月即推出FastMCP，Anthropic后来将其采纳为MCP的官方Python SDK。

此次收购对Dagster早期舵手影响深远。Dagster创始人Nick Schrock（2022年从CEO转任CTO，为Pete Hunt让路）与Hunt一同被列为“战略顾问”，但Schrock周一发布的博文更像是一次彻底告别。他写道：“我想分享一个消息：我将离开项目和公司。”Schrock的离去标志着Dagster一章的结束，但收购本身开启了新篇章——Prefect押注，两家公司多年为数据编排积累的理念，在AI智能体进入生产阶段时将同样珍贵。