FastAPI、Redpanda、Docker を使用したイベント駆動型 AI パイプライン

このデモプロジェクトは、FastAPI を API ゲートウェイ、Redpanda（Kafka 互換）をメッセージブローカー、Docker をコンテナ化に使用した、最小限のイベント駆動型 AI パイプラインを示しています。パイプラインはドキュメント処理を複数のステージに分割します。まず、ユーザーが POST /submit エンドポイントにドキュメントを送信すると、ゲートウェイが document.submitted イベントを発行します。抽出ワーカーがそのイベントを消費してテキストを抽出し、text.extracted イベントを発行します。次に要約ワーカーが消費して summary.generated イベントを発行し、最後に通知ワーカーが完了を記録します。

プロジェクト構造は明確で、api-gateway、workers（抽出、要約、通知）、共有モジュール（Kafka 設定、スキーマ、ユーティリティ）、Docker 設定を含みます。docker compose up --build コマンドですべてのサービスを起動できます。テストは別のターミナルで curl コマンドを実行するだけで完了します。

著者は、FastAPI はリクエストの受け付けのみを担当し、重い処理は行わないこと、Kafka がリクエストをイベントに変換すること、各ワーカーが1つのステージを担当すること、共有スキーマが契約を明確にすることを強調しています。このアーキテクチャは本番環境向け AI パイプラインの最もシンプルな形です。詳細はビデオコードウォークスルー（https://youtu.be/c2ijN2KAWXw）を参照してください。

このプロジェクトは Python 98.8%、Dockerfile 1.2% で構成されており、イベント駆動方式で AI 処理の各段階を疎結合にし、独立したスケーリングとメンテナンスを可能にします。スケーラブルな AI パイプラインを構築したい開発者にとって理想的な出発点です。