Crawlee for Python：ロボット処理、リンクグラフ、RAGチャンクエクスポートを備えたWebクローリングパイプラインの構築

このチュートリアルでは、Crawlee for Pythonを使用して、セットアップからAI対応出力までの完全なWebクローリングパイプラインを構築します。まずローカルデモウェブサイトを生成し、その後、BeautifulSoupCrawler、ParselCrawler、PlaywrightCrawlerを使用してクロールを行います。これらのクローラーは、タイトル、メタデータ、製品フィールド、JavaScriptでレンダリングされたカードを抽出し、全ページのスクリーンショットを取得します。

HTTPファースト戦略を採用しており、HTTPクローラーは軽量で効率的です。JavaScriptレンダリングが必要なページにのみブラウザクローリングを使用します。各クローラーは、URL、タイトル、ページタイプ、テキスト要約、外部リンク、ページ固有のメタデータを抽出します。例えば、BeautifulSoupCrawlerを使用する場合、次のように最大リクエスト数を設定できます：crawler = BeautifulSoupCrawler(max_requests_per_crawl=20)。その後、データを正規化し、リンクグラフを構築して、JSON、CSV、およびRAG対応JSONLチャンク形式でエクスポートし、後続の処理に備えます。