AgentCrawl：AIエージェント向けの小さなセルフホスト型クローラ

要点

• AgentCrawl は既知のURLからクリーンなMarkdownを抽出し、テーブル、コードブロック、メタデータ、出典情報を保持します。
• CLI、Python、Docker/API、MCPの4つの相互作用モードをサポートし、エージェントや開発者が利用できます。
• コミュニティ版は、SQLiteによる永続的なクロール、ローカル状態、読み取り専用ダッシュボード、セキュリティデフォルト、正直なエラー報告を備えています。
• プロジェクトはコミュニティの境界を明確に定義しており、Cloudflareのようなアンチボットチャレンジを回避せず、アクセス可能な公開コンテンツのみを対象としています。