PrefectがDagsterを買収:Airflowのライバル同士が合併、データパイプライン以外のストーリー
オープンソースのワークフローオーケストレーターで知られるPrefectが、Apache Airflowの主要な代替品の一つであるDagsterを買収すると発表した。DagsterとDagster+はそのままの名前と製品ロードマップを維持し、約40名のDagsterチームがPrefectに加わる。CEOのJeremiah Lowin氏は、この買収をAIエージェントの信頼性を高めるための戦略的動きと位置づけている。
Prefect(プレフェクト)は、同名のオープンソースデータパイプラインワークフローオーケストレーターで知られる企業が、Apache Airflowの最大の代替手段の一つであるDagster(ダグスター)を買収すると発表した。この取引はまだ正式に完了していないが、2つの有力なAirflow競合製品を1つの企業に統合する。Dagster(オープンソースオーケストレーター)とDagster+(フルマネージドクラウド版)は、既存の名称、価格、製品ロードマップを維持し、Dagsterチームの約40名がPrefectに移籍する。
Prefectの創業者兼CEOであるJeremiah Lowin氏は月曜日に公開したLinkedIn投稿で、この買収はAIエージェントが確実に動作するために必要なコンポーネントにかける賭けだと説明する。明確に定義された目標と、エージェント自身の判断が想定外の道に進んだときの柔軟性を両立させること。Lowin氏によれば、Dagsterは目標設定(結果の定義と追跡)を担当し、Prefectは実行(実際の作業)を担当し、FastMCP(Prefect独自のツール)はエージェントが外部システムにアクセスできる範囲を制御する。
Lowin氏は「モダンオーケストレーションカテゴリに新たな重心が生まれた」と書き、この買収はスケールの創出が目的だと述べる。7年前、PrefectとDagsterはともにAirflowの挑戦者として登場した。PrefectはPython開発者向けにプロダクションワークフローのオーケストレーションを簡素化・信頼性向上させることを目指し、Dagsterはデータパイプラインの定義・理解・検証を容易にすることに注力した。
Lowin氏は「長年にわたり、PrefectとDagsterは互いの水準を引き上げ、カテゴリ全体を押し上げてきた。その競争により、2つの卓越した製品と、データエコシステムで最も強力なオープンソースコミュニティが生まれた」と述べる。両社がパイプライン実行のために培った強みは、現在より大きなものに拡張されつつある。Prefectは、それらの強みがエージェント型ワークロードにも必要とされると確信している。
両社は以前からAIエージェントへの軸足を移してきた。2024年、Prefect 3.0はエージェント型ワークフローのサポートに明確に焦点を当てた。1年後、DagsterはComponentsを発表し、手書きのPythonではなく再利用可能なYAMLベースのビルディングブロックでパイプラインを構築する手法を提案した。さらにDagsterはCompassも発表し、アナリストがSQLを書く代わりにSlack経由で平易な言葉でデータに問い合わせできるようにした。しかし、これらはいずれもPrefectが開発したFastMCPの影響力には及ばない。FastMCPはAnthropicが2024年末に公開したオープンスタンダードのModel Context Protocol (MCP) と連携し、PrefectはMCPがローンチした月にFastMCPをリリース、その後AnthropicはこれをMCPの公式Python SDKとして採用した。
今回の買収はDagsterの初期からの関係者にも影響を与える。創設者のNick Schrock氏(2022年にCEOからCTOに転身)はPete Hunt氏とともに「戦略アドバイザー」として残留すると発表されているが、Schrock氏自身のブログ投稿はむしろ完全な別れを示している。「プロジェクトと会社を離れることを共有したい」と同氏は書く。Schrock氏の退任はDagsterの一章を閉じるが、買収自体は新たな章を開く。Prefectは、両社がデータオーケストレーションのために長年培ってきたアイデアが、AIエージェントが本番環境に移行する際にも同様に価値を持つと確信している。