Cloudflare 希望构建 AI 网络的经济层

人工智能正在以前所未有的速度改变互联网的面貌。随着谷歌的 AI 概览直接提供答案，曾经占据搜索结果首位的出版物逐渐被摘要取代，用户无需点击即可获取信息，流量因此大幅下降。面对这一现实，Cloudflare 在周三宣布了一系列针对出版商的更新，涵盖爬虫分类、分析仪表盘、答案引擎优化（AEO）以及 Pay Per Crawl 计划的扩展，表明该公司正试图成为 AI 网络的经济管道。

从“阻止”到“合作”的转变

一年前，Cloudflare 的立场主要是防御性的，主张网站所有者应有权阻止 AI 爬虫。如今，该公司转而讨论为“代理经济”构建“轨道”。这一转变合乎逻辑：如果 AI 代理已经在网络上浏览、收集内容甚至进行购买，那么就需要有人处理网站被访问时的补偿问题。Cloudflare 认为它应该承担这一角色。

为价值付费，而非访问量

大约一年前，Cloudflare 推出了 Pay Per Crawl，允许出版商为 AI 公司每次抓取页面设定价格。现在，该公司正在向 Pay Per Use 模式推进，即出版商的内容实际出现在 AI 生成的答案中时才获得报酬。相比之下，旧模式中 AI 爬虫付费访问网站，无论其是否利用了内容。Cloudflare 表示已经在与 Ceramic.ai 和 You.com 测试这一模式。这种经济模式发生了根本性转变：不再是按访问收费（如同收费亭），而是按价值收费，更接近联盟营销或许可协议的方式。但这也带来了更难的问题：需要知道哪些内容贡献了哪个答案，需要目前尚未大规模存在的归因基础设施。

爬虫需要更清晰的标签

更具技术性和政治性的问题是，Cloudflare 希望 AI 公司不再将所有爬虫混为一谈。目前，一个来自大型 AI 公司的机器人可能同时执行搜索索引、模型训练和代理任务，使得网站所有者无法针对不同用途进行授权。从 9 月 15 日起，Cloudflare 计划更改新网站和免费版网站的默认设置：AI 搜索爬取保持开启，但训练和代理访问在广告支持的页面上默认被阻止，除非网站所有者选择开启。拒绝分离流量的混合用途爬虫将被完全阻止。Cloudflare 显然在此指向谷歌，指出其捆绑方式使其获取的内容量约为 AI 原生竞争对手的两倍。分离爬虫意图已成为出版商与 AI 公司之间任何有效市场的前提条件。因为如果网站所有者无法区分“索引我的页面用于搜索”和“训练你的模型使用我的文章”，他们会越来越倾向于完全屏蔽所有爬虫。

优化 AI 答案

Cloudflare 还推出了面向业务团队的 Attribution Business Insights 仪表盘，类似于 Google Search Console，但针对的是 AI 搜索引擎，如 ChatGPT 或 Perplexity。此外，Cloudflare 引入了答案引擎优化（AEO），帮助出版商了解内容如何在 AI 生成的回答中被引用。这与传统的 SEO 不同，目前几乎没有人拥有良好的工具来应对这一挑战。

基础设施作为竞争优势

Cloudflare 已经位于网站和互联网之间，能够看到流量并判断页面内容是否更新。它可以让爬虫在内容无变化时稍后再来，据称这将消除超过 50% 的当前 AI 爬取流量。这使 Cloudflare 处于独特地位：它已经存在于 AI 公司与网络之间的路径上，现在希望成为管理访问、归因以及最终支付的一层。如果 AI 代理成为人们在线获取信息的主要方式，Cloudflare 押注下一场战斗将不再是关于谁构建了最智能的模型，而是关于谁构建了所有人都依赖的基础设施。