Crawlee for Python：ロボット処理、リンクグラフ、RAGチャンクエクスポートを備えたWebクローリングパイプラインの構築

このチュートリアルでは、Crawlee for Pythonを使用して、セットアップからAI対応出力までの完全なWebクローリングワークフローを構築します。ローカルデモウェブサイトを生成し、BeautifulSoupCrawler、ParselCrawler、PlaywrightCrawlerでクロールし、タイトル、メタデータ、製品フィールド、JavaScriptレンダリングカードを抽出し、全ページスクリーンショットを取得します。その後、データを正規化し、リンクグラフを構築し、JSON、CSV、およびRAG対応JSONLチャンクをエクスポートします。