Crawlee for Python：构建包含机器人处理、链接图和RAG分块导出的网络爬取管道

本教程演示如何使用Crawlee for Python从零搭建完整的网络爬取工作流，包括设置本地演示网站、使用BeautifulSoupCrawler、ParselCrawler和PlaywrightCrawler进行爬取，提取标题、元数据、产品字段和JavaScript渲染的卡片，并捕获全页截图。随后规范化数据、构建链接图，导出JSON、CSV和RAG就绪的JSONL分块。