Cloudflare 将默认屏蔽广告支持网页上的搜索和抓取机器人

要点

• Cloudflare 新政策默认阻止混合用途爬虫（如Googlebot、Bingbot、Applebot）抓取广告页面内容用于AI训练。
• 出版商可通过更改设置允许爬虫访问，或使用AI opt-out指令。
• Cloudflare 推出“按使用付费”计划，与Ceramic.ai和You.com合作，让出版商在内容产生价值时获得报酬。
• 新增商业洞察仪表板，帮助出版商了解机器人内容消费和AI模型流量。