一年前，Cloudflare发起了首个内容独立日，赋予网站所有者重新掌控内容的手段。爬虫与网站所有者之间维持了30年的默契——我们抓取你，你获得推荐流量——已不再成立。AI拿走一切却毫无回馈，对网站所有者构成生存威胁。因此我们推出了“一键阻止AI机器人”选项和按次付费抓取市场。
一年间变化巨大。去年七月，关于“AI机器人”的讨论集中在无补偿阻止AI训练上，指出内容被用于模型训练却不产生任何价值回报的赢输局面。但如今，内容所有者仍希望保护自己的内容，并应为辛苦创作、策展和分享的原创内容获得补偿。同时，一刀切地封锁内容并非万能药；网站所有者希望有比“每次都阻止所有自动化”更多的选择。
对于小型网站，问题不仅在于有人可能用你的内容训练模型，更在于根本没人能找到你。因此你不得不做出浮士德式的交易：要么出现在搜索结果中并允许AI训练你，要么冒失去可见度的风险。如果现有搜索引擎用同一批机器人同时进行搜索和训练，这就不公平地有利于它们；而这种不公平优势又会激励新玩家在试图缩小竞争差距时采取规避手段。
如今，AI可以无处不在。谷歌搜索已从AI排序转变为在结果页直接回答问题的完整答案引擎。谷歌并非唯一如此——“搜索”正朝着这个方向发展。
我们可以争论今天什么才算“AI”的界限，但标准明天可能就变了。因此，我们不再主要根据是否为“AI”来定义机器人，而是深入询问机器人的行为：它们在我的网站上做什么？存储什么？如何重新分享我的内容？
为解决这些问题，我们需要更细致的视角——一种与客户关心的AI用例相契合的实用分类法。我们将讨论从AI训练扩展到三个AI用例，希望所有客户都能管理：
搜索：收集或索引你的内容以便日后回答问题的行为。关键是搜索会主动建立你网站的数据库，以便后续响应查询。网站所有者应期望获得推荐流量或其他公平补偿。
代理：通常实时代表某人完成任务的自动化行为。包括聊天抓取机器人（如ChatGPT-User）和浏览器使用代理（如Gemini或Claude驱动Chrome）。关键是它访问你的Web应用以完成工作，通常另一端有人在等待。
训练：爬虫获取你的内容来训练或微调模型。关键是你的数据被永久吸收到AI的基础架构中以提升其能力。
许多流行爬虫属于上述一种分类，有些属于多种。我们还分类了三种之外的其他行为——包括广告验证、feed获取和代理交易。但我们认为，所有网站所有者都应能简单管理这三种以AI为中心的用例的访问权限。机器人运营商应分离其爬虫，以增加透明度：让网站所有者更好理解爬虫来访原因，并更好地管理授予的访问权限。如果一家公司运行构建搜索索引、充当代理和收集训练数据的自动化，我们强烈建议将其分离为三个独立爬虫。
我们希望分类系统可扩展，并能代表不断演变的自动化流量世界。追踪机器人目的并非新事，但我们的新分类法包含一些更新，以更好反映当今机器人流量的状态。最值得注意的是，我们认识到多用途机器人应以其所有用途被追踪，而非仅一种。
我们希望为Cloudflare网络上的所有网站所有者提供更多管理不同类型AI流量的选项。此前宣布的“阻止AI机器人”托管预设包含单用途训练爬虫。但并非所有AI使用都相同，我们希望客户拥有所需控制权。因此，我们推出基于三大用例——搜索、代理和训练爬虫——管理AI流量的能力。借助这些新选项，客户可以更精细地调整AI机器人流量管理，包括免费层客户。
2026年9月15日，我们将为这三个分类设置新默认值。对于所有新加入Cloudflare的域名，训练和代理类别将在展示广告的页面上默认被阻止，而搜索默认允许。广告是网站所有者希望真人访问并看到的信号——一种可货币化并推动业务的元素。因此，在这些页面上，我们将人类注意力视为最终目标，并阻止可能妨碍此目标的机器人（即训练和代理机器人）。另一方面，搜索是最自然带回访客的行为，我们认为允许它符合大多数网站所有者的利益。
9月15日生效的另一变化是，多用途爬虫（特别是结合搜索与训练的爬虫）将根据其所有行为被允许/阻止，以符合我们对网站所有者的透明度呼吁。由于默认值将由最严格的适用规则执行，多用途爬虫如Googlebot、Applebot和BingBot将被那些选择阻止训练的客户所阻止（无论是通过新的AI流量管理选项还是传统的阻止AI机器人服务）。
当然，客户选择至关重要：如果网站所有者希望退出这些新默认配置，可在9月15日前随时在安全设置中标记，确认他们不希望对同时用于搜索的训练爬虫做任何更改。我们还将继续在9月15日临近时通知客户即将到来的默认值变更，确保希望选择不同于默认设置的客户有机会这样做。
我们同时推出Enterprise Bot管理的一项重大可见性更新——BotBase。随着Cloudflare追踪的机器人目录增长，人们希望以合理分组管理机器人并了解特定机器人的更多细节。BotBase是我们追踪所有已知机器人（包括已验证机器人和代理）的新数据库，在Cloudflare仪表板上提供全面、可搜索的机器人目录视图。我们首先解决可见性问题，今年晚些时候将扩展BotBase，为网站上的已知自动化内容提供直接控制中心。
借助这一新视图，Enterprise Bot管理客户可以查看所有已验证机器人/代理的完整目录及其在新分类法中的位置——这是我们在Cloudflare仪表板上从未动态展示过的视图。希望精确针对特定机器人的客户还可以轻松筛选该机器人的所有流量，并复制检测ID用于安全规则。所有这些现已在专用页面中上线，可通过Bot Management配置卡访问。
在构建BotBase时，我们希望考虑所有能构建可扩展、强大洞察的信息。其中之一是我们更新分类法的基石，基于机器人在你网站上的行为。我们将这些分类分开，每个机器人被归类为一种或多种行为：搜索（爬取网站以出现在搜索结果中）、代理（代表人类访问页面的用户导向代理）、训练（爬取以训练或微调模型）、交易（代表用户执行结账）、数据收集（包括价格抓取、竞争情报和第三方分析）、安全测试（包括漏洞扫描和渗透测试）、SEO（SEO爬取、站点审计、可访问性检查）、广告验证（广告投放验证、广告欺诈检测）、社交/链接预览（社交平台和消息应用的链接预览）、Feed获取（包括RSS阅读器、播客聚合器和新闻Feed机器人）、监控与运营（包括正常运行时间监控、Webhook和健康检查）。高亮行表示所有客户可用的新配置选项。
我们还听到客户关心的另一信息是机器人的内容使用——机器人在抓取你的内容后可能保留和重新分享什么。为此，我们正在为Bot管理客户构建基于“内容使用”选择并阻止的能力。此设置可设为三个级别，从最宽松到最严格：immediate——交互但不存储和重用；reference（默认）——索引、摘录并链接回；full——总结和复制。这些值可与机器人分类结合，表达细致规则，例如“允许所有用于搜索、SEO和广告验证的机器人，但仅限reference使用级别”。这使网站所有者能够按合理分组做出决策，而非逐个管理机器人规则。
为进一步支持这一点，从今天起，我们正在测试一个新信号use，扩展Content Signals并存在于robots.txt中。这扩展了第一版Content Signals的三个字段，增加第四个可选字段，表达相同偏好：use=immediate、use=reference、use=full。与robots.txt中所有其他条目一样，内容使用值表示网站所有者的偏好而非直接阻止。我们现在添加对此扩展的支持：所有已启用托管robots.txt的客户（该文件在robots.txt前添加“搜索爬取可以，训练爬取不可以”的偏好）现在将在其robots.txt中添加use=reference偏好。