您的网站，您的规则：面向所有客户的新AI流量选项
Cloudflare 在第二个内容独立日推出新的 AI 流量管理选项，允许网站所有者更精细地控制搜索、代理和训练机器人流量。新功能包括针对不同 AI 用例的独立管理、基于广告页面的默认设置，以及为企业客户提供的 BotBase 机器人数据库。
一年前，Cloudflare 宣布了首个“内容独立日”，为网站所有者提供一键阻止 AI 机器人的工具。如今，在第二个内容独立日，Cloudflare 推出了更精细的 AI 流量管理选项，允许用户区分并管理搜索、代理和训练三大类机器人。这一变化源于网站所有者对更灵活控制的需求：他们既希望保护内容免受滥用，又不愿完全放弃搜索流量。Cloudflare 认识到，AI 机器人并非单一实体，其行为差异巨大，因此需要分类管理。
新分类包括：搜索机器人（为搜索引擎索引内容）、代理机器人（代表用户实时执行操作，如 ChatGPT-User）和训练机器人（抓取数据用于模型训练）。Cloudflare 鼓励运营商将多用途机器人分离为单独的爬虫，以提升透明度。此外，所有客户（包括免费用户）均可通过设置面板分别控制这三类机器人的访问权限。
从 2026 年 9 月 15 日起，Cloudflare 将调整默认设置：对于展示广告的页面，训练和代理机器人将被默认阻止，而搜索机器人仍被允许。广告页面被视为需要人类注意力的内容，因此系统会自动屏蔽可能干扰这一目标的机器人。同时，多用途机器人（如 Googlebot）将根据其所有行为类型被允许或阻止，默认采用最严格的规则。网站所有者可在 9 月 15 日前自由选择退出这些默认设置。
企业客户还可使用全新的 BotBase 数据库，这是一个可搜索的机器人目录，显示每个机器人的行为分类和内容使用方式。通过 BotBase，客户可以快速过滤特定机器人流量，并复制检测 ID 用于安全规则。未来，BotBase 还将成为自动化内容的管理中心。
Cloudflare 还引入了“内容使用”信号，允许网站所有者指定机器人如何使用其内容：immediate（仅交互，不存储）、reference（默认，索引并链接回原站）或 full（可总结和复制）。该信号已集成到 robots.txt 的 Content-Signal 字段中。从即日起，启用管理 robots.txt 的客户将自动添加 use=reference 偏好。Cloudflare 还将在 BotBase 中跟踪每个机器人的内容使用情况，进一步帮助网站所有者做出明智决策。