Beehiiv 集成 Cloudflare AI 爬虫控制，作者可一键屏蔽或允许机器人

Cloudflare 公司与新闻通讯平台 Beehiiv 今日宣布推出一项集成功能，将 Cloudflare 的 AI 爬虫控制直接嵌入 Beehiiv 的控制面板，使独立出版商能够通过一个简单的开关来决定是否允许人工智能爬虫访问其作品。

这项集成将 Cloudflare 的 AI Crawl Control 功能融入 Beehiiv 仪表盘。作者面临一个选择：他们可以开放自己的内容库，供 AI 搜索引擎和代理抓取，以换取潜在的流量分发；或者关闭 AI 爬取，将内容保留用于未来的授权交易。该选项即日起对 Beehiiv 用户开放。

这一功能的推出背后是一个日益严峻的问题。AI 系统现在占据着网络流量中越来越大的份额，而且抵御它们通常需要手动修改 robots.txt 文件或编写防火墙规则。对于大多数独立创作者来说，这几乎是不可能完成的工作。将控制功能整合到控制面板中，省去了编写代码的麻烦。

启用该功能后，发布者将在基于 Cloudflare API 构建的控制面板中看到正在叩门的 AI 爬虫名称，以及哪些爬虫被屏蔽。面板还会显示这些爬虫带来的推荐流量数据——这正是开放或屏蔽决策背后的核心权衡。如果想要屏蔽某个模型而允许另一个，只需点击一下即可。Cloudflare 表示，随着新爬虫的出现，列表会自动保持更新。

这笔交易是 Cloudflare 长达一年的系列行动中的最新一环。2025 年，Cloudflare 为新客户默认开启了 AI 爬虫屏蔽功能，并推出了按爬取付费（Pay Per Crawl）市场，出版商可向 AI 公司收费以获得内容访问权。今年 1 月，Cloudflare 收购了 AI 数据市场初创公司 Human Native Ltd.，以完善针对版权持有者的许可内容工具。

Cloudflare 联合创始人兼首席执行官马修·普林斯（Matthew Prince）将这一系列行动描述为“从独立博客到世界最大出版商的内容创作者”而战。他称 Beehiiv 合作是赋予新闻通讯运营商透明度和控制权的下一步，让他们能够按照自己的条件与 AI 公司打交道，无论他们希望获得内容发现还是保留作品。

Beehiiv 联合创始人兼首席执行官泰勒·登克（Tyler Denk）认为，这项集成是作者手中的一个谈判筹码。他表示，AI 正在改变读者偶然发现内容的方式，创作者应该掌握这个杠杆。

目前，约有 13.5 万家出版商通过 Beehiiv 运营新闻通讯、网站和播客。平台不抽取任何订阅收入，受众也归创作者所有。对 Cloudflare 而言，这项集成使其能够深入创作者经济，并为它寄望改变 AI 公司付费方式的按爬取付费模式开辟新的入口。