AI智能体爬虫现在需要许可：如何获取

Cloudflare宣布，从9月15日起，其网络将默认阻止AI智能体爬虫访问显示广告的网页。这些爬虫实时为等待答案的用户抓取页面，与传统的搜索索引爬虫不同。Cloudflare于7月1日公布这一变更，将原本单一的“阻止AI爬虫”开关细分为三个类别：搜索（索引页面以回答后续问题）、智能体（代表用户实时操作，包括ChatGPT的抓取爬虫和浏览器驱动智能体）和训练（将内容纳入模型权重）。这些控制选项对包括免费用户在内的所有客户立即生效。

从9月15日起，默认设置将发生变化：在展示广告的页面上，“训练”和“智能体”类爬虫将被阻止，而“搜索”类仍允许访问。新默认设置适用于新接入Cloudflare的域名、现有客户的新站点以及所有现有免费层用户。不希望这些设置的用户可在日期前通过安全设置退出。

Cloudflare的逻辑是，广告表明页面是为人类访问而设计的。搜索爬虫将读者带回页面是一种推荐，而读取页面后将答案直接交给别人则不是。由于Cloudflare在网络层面实施阻止，而非 robots.txt 那样的建议，因此智能体爬虫的有效访问将面临严重限制。广告支持的页面正是新闻、评论、定价和产品报道所在之处，这对企业智能体而言意味着失败模式不是诉讼，而是沉默或基于仍可访问内容的回答。

一个复杂因素是Googlebot同时为搜索和训练进行爬取，因此阻止训练也会阻止Googlebot。Cloudflare CEO Matthew Prince表示，希望这一变化能“鼓励混合用途爬虫分离搜索、智能体使用和训练”。

对于运行智能体的企业，首先应确定哪些Cloudflare账户将被归类为“智能体”类。分类基于行为而非自选，实时浏览的研究智能体会被捕获。预期会出现降级而非完全失败，因为阻止仅针对广告支持页面。协商访问而非修改用户代理字符串是解决之道。出版商应检查自身层级，免费用户将在9月15日自动应用新默认设置。然后决定阻止训练是否值得，因为这会连带影响Google搜索可见性。

值得关注的机制是付费模式：从“按爬取付费”转向“按使用付费”。Ceramic.ai在内容出现在AI搜索结果中时向出版商支付，You.com在智能体访问付费内容时支付。Cloudflare表示，超过一半的AI爬虫流量用于重新抓取未变化的页面，双方都存在浪费。

这一分类的弱点在于依赖AI公司自行声明其爬虫行为，公司可能有意不将训练爬虫归类为训练。公告未说明如何防止此类行为。开放网络的免费无限访问已持续三十年，现在账单开始明细化。在9月之前解决访问问题的智能体构建者面临的是可处理的问题，而那些从403错误中才发现问题的将不得不临时重建。