AgentCrawl：為AI代理打造的小型自託管爬蟲

要點

• AgentCrawl 提供從已知URL到乾淨Markdown的提取，包括表格、程式碼塊、後設資料和來源資訊。
• 支援CLI、Python、Docker/API和MCP四種互動方式，方便AI代理和開發者整合。
• 社群版具有持久化爬取、本地SQLite狀態、只讀儀表盤、安全預設設定及誠實錯誤報告等特性。
• 專案明確社群邊界：不繞過Cloudflare等客戶端挑戰，僅用於可訪問的公開內容。