让AI搜索更智能

搜索是我们在网络上找到几乎所有东西（创作者、商家、答案）的方式。AI正在改写规则，让创作者陷入两难：既要保持在这个代理时代中能被发现，又要为他们的工作获得报酬。今天，Cloudflare宣布了两项计划来解决这个问题。

搜索驱动着大部分网络体验。近30年来，这种发现过程基于一个简单的交易：让搜索引擎爬取你的内容，它会给你带来访客。通过广告、订阅或仅仅是流量，访客转化为收入。可被发现和获得报酬是同一回事。一年前，在第一个内容独立日，我们划下了一条线来守护这个交易。但仅仅划下一条线只是第一步。从那以后，AI搜索在消费者生活中的普及性迅速提高，如今超过50%的在线流量是非人为的。威胁不再是可以阻止的训练爬虫；而是搜索本身正围绕AI答案重建。

现在的答案引擎读取你的页面，向用户提供摘要，访问和其带来的收入就不再必要。我们亲眼看到，独立研究也证实了这一点：2025年皮尤研究中心的一项研究发现，当谷歌显示AI摘要时，用户点击传统搜索结果链接的时间只有8%（大约是没摘要时的一半），点击摘要内链接的时间只有1%。这让我们的客户陷入困境：要么不参与AI而难以被发现，要么参与进来，为用户提供巨大价值，但同时看到回报越来越少。我们的客户希望被发现，并为他们提供的价值获得补偿，而现在他们被迫做出选择。

今天，我们宣布了新的机器人选项，帮助客户更好地控制谁可以访问他们的网站以及如何使用。但阻止只是第一步：拒绝保护内容，但不重建支持它的商业模式。所以，是时候开始建立互联网的新经济模式了，从搜索开始。

重建交易

透明度和控制是基础，但这还不够。2025年，我们通过一套负责任AI机器人的原则奠定了基础：机器人应透明说明身份和用途，尊重网站所有者的选择，并以善意行事。我们的工具使机器人遵守标准。但强制执行好机器人行为并不能让AI搜索对依赖它的人更好，也不能让创作者因贡献而获得报酬。我们可以做更多事，而不仅仅是帮助网络说“不”；我们可以帮助重建它说“是”的东西。

所以今天，我们宣布了两项从防御转向进攻的计划，开始重新把旧交易的两个部分结合起来。

• 让AI搜索更智能：通过利用我们在全球网络中看到的信号，比如什么是最新的、高质量的、实际变化了的东西，我们可以帮助答案引擎展示最相关的内容，减少不必要的爬取。搜索结果会更好，同时当网页只在变化时被重新爬取，AI公司和网站所有者的成本都会降低。
• 为创作者所提供价值支付报酬：当你的作品被用来回答问题时，你应该得到回报，而不是被免费抓取。你应该能看到什么被使用、人们在问什么。这应该是一个真正的收入来源，并激励持续生产值得发现的原创内容。

让搜索更智能

今天，我们启动了一项研究计划，让AI搜索更智能，并停止让我们的客户为没有产出的爬取买单。

超过20%的网络在Cloudflare网络背后，这给了我们独特的视角。我们可以判断哪些页面真正变化了，哪些页面吸引人群和代理。通过这个计划，我们将探索使用客户选择共享的关于内容新鲜度的信号，并结合我们自身对流量（人类和机器人）的洞察。对于答案引擎，这是一条通往高质量内容的地图。对于我们的客户，它提供了用户实际在问什么、他们的内容如何出现在AI结果中的视图。目标是衡量两件事：这些信号在多大程度上帮助答案引擎展示更新鲜、更高质量的内容，以及在多大程度上减少了不必要的爬取。

第二个好处——减少不必要的爬取——比听起来更大。Cloudflare数据表明，超过50%的好机器人爬取流量是重新获取未变化的页面，而随着爬取量的增加，这个数字可能会上升。一个“这里没变化”的信号让爬虫跳过这次获取。这节省了答案引擎的计算。更重要的是，它让网站所有者免于提供和支付他们从未需要的请求。

该计划在设计上是中立的：我们的目标是让每个愿意公平竞争的答案引擎都能使用。它仅限于搜索。我们不分享任何内容，也不用于训练基础模型。我们打算公布我们学到的东西，包括对网站所有者的好处，如更好的内容发现性和减少的服务器压力。我们计划在今年晚些时候广泛提供该能力，并减少我们网络上的不必要爬取。

从按爬取付费到按使用付费

去年我们推出了“按爬取付费”，让发布商能够向AI公司收取爬取内容的费用。这是一个真正的开始，但爬取是价值的粗浅衡量。一个页面可能被爬取一次，然后在数千个答案中被引用，或者被反复爬取却从未被使用。创作者希望为他们提供的价值获得公平报酬。

因此，我们开始将“按爬取付费”转变为“按使用付费”。我们正在与顶级AI公司（如Ceramic.ai和You.com）进行实验，安排很直接：组织可以带来他们的支付模型，并轻松扩展到Cloudflare网络上的内容所有者。

Ceramic构建了它所称的“按查询付费”模型，因此选择参与的内容发布商可以在其内容出现在Ceramic搜索结果中时获得报酬。这意味着支付旨在跟随工作带来的价值，而不是爬虫获取它的次数。

“要扩展AI搜索的未来，我们需要一个拥有巨大影响力的合作伙伴，共同致力于透明和公平补偿，”Ceramic.ai创始人兼CEO Anna Patterson说。“Cloudflare让我们能够轻松地以编程方式扩展运营。通过将我们的按查询付费模型带到他们的网络，我们确保数百万内容所有者可以无缝选择，每次他们的内容出现在我们的搜索结果中时都获得补偿。”

除了补偿，参与Cloudflare/Ceramic计划的内容所有者将解锁新的报告，帮助进行答案引擎优化（AEO）。客户终于可以看到导致其内容出现在搜索结果中的主要查询、特定网页和片段、平均搜索排名位置等等。这是我们为帮助客户提高发现性而推出的众多产品中的第一个。

这只是新兴方法之一。另一个来自You.com：代理可以按需支付特定需要的高质量内容，无需事先承诺。AI提供者正在测试新的支付模型（例如按查询付费、按结果付费等），我们有支持所有模型的基础设施。

我们想诚实地说明这是一个实验。有很多东西要学，包括这在互联网规模下如何运作。我们将与合作伙伴和客户一起进行，并分享学习成果。但目标很明确：AI搜索公司获得更新、更好的答案，而客户因其贡献而获得报酬。Cloudflare的角色是提供使这一市场繁荣的基础设施层。

我们认为这更适合搜索经济的走向。旧的、人类网络针对时间进行了优化——提供摘要、十个蓝色链接和一个点击。代理互联网不同：代理可以快速阅读并持续搜索。搜索变成了代理回答一个问题而进行数十次的行为，更像一个实用工具而不是目的地。在那个世界里，重要的单位不是爬取或点击。而是结果。对结果进行定价，并付费给创造结果的人，是网络持续繁荣的方式。

我们想赢得的头条

一年前的内容独立日，头条是默认的“不”：AI爬取必须补偿。今年，我们的重点是给用户更多产品和控制权来说“是”，并带来更多好处。

今天的公告只是开始。Cloudflare的研究项目旨在看看我们的信号是否能以更少爬取产生更好结果。按使用付费是一个有希望的方向，我们将与相信内容创作者应获得公平补偿的合作伙伴一起实验。这就是过去30年网络建设的方式：有人运行试点，将“模式破碎”变成“这是新模式”，一次一个实验。我们相信客户在这个新的代理时代中发现性和优化内容以获得最大发现是有价值的。但他们应该能够做到这一点而不必免费赠送他们最有价值的创意资产。

网络在变化，依赖的商业模式也在变化。旧互联网是开放、中立、值得贡献的。我们有一个难得的机会来保持这一点，并建立未来资助它的商业模式。更智能的答案，为人类和代理提出的问题。公平的交易，为那些其技能、创造力和承诺使答案有价值的人。这就是我们追求Cloudflare使命的方式：帮助建设更好的互联网。

内容独立日快乐！

正在构建开放、代理就绪的网络？如果您有兴趣了解更多关于Ceramic和You计划的信息，请填写此表格。如果您正在构建答案引擎并希望更智能地爬取，我们也乐意听取您的意见：[email protected]。