AgentCrawl：为AI代理打造的小型自托管爬虫
AgentCrawl 是一款轻量级自托管爬虫，专为AI代理设计，能够将网页和本地文档转换为干净的Markdown、文本、链接、元数据等。它提供CLI、Python库、HTTP API和MCP服务器，支持持久化爬取、本地缓存和仪表盘，并诚实报告被反爬机制阻止的页面。项目尚处于早期阶段，社区版聚焦于可访问的公开内容。
AgentCrawl：为AI代理打造的小型自托管爬虫
本文仅提供摘要
根据来源内容权限，本站仅提供编辑摘要、要点和原文链接。
AgentCrawl 是一款轻量级自托管爬虫，专为AI代理设计，能够将网页和本地文档转换为干净的Markdown、文本、链接、元数据等。它提供CLI、Python库、HTTP API和MCP服务器，支持持久化爬取、本地缓存和仪表盘，并诚实报告被反爬机制阻止的页面。项目尚处于早期阶段，社区版聚焦于可访问的公开内容。
根据来源内容权限，本站仅提供编辑摘要、要点和原文链接。