Beehiiv 集成 Cloudflare AI 爬蟲控制，作者可一鍵屏蔽或允許機器人

Cloudflare 公司與新聞通訊平台 Beehiiv 今日宣佈推出一項集成功能，將 Cloudflare 的 AI 爬蟲控制直接嵌入 Beehiiv 的控制面板，使獨立出版商能夠通過一個簡單的開關來決定是否允許人工智能爬蟲訪問其作品。

這項集成將 Cloudflare 的 AI Crawl Control 功能融入 Beehiiv 儀表盤。作者面臨一個選擇：他們可以開放自己的內容庫，供 AI 搜索引擎和代理抓取，以換取潛在的流量分發；或者關閉 AI 爬取，將內容保留用於未來的授權交易。該選項即日起對 Beehiiv 用户開放。

這一功能的推出背後是一個日益嚴峻的問題。AI 系統現在佔據着網絡流量中越來越大的份額，而且抵禦它們通常需要手動修改 robots.txt 文件或編寫防火牆規則。對於大多數獨立創作者來説，這幾乎是不可能完成的工作。將控制功能整合到控制面板中，省去了編寫代碼的麻煩。

啓用該功能後，發佈者將在基於 Cloudflare API 構建的控制面板中看到正在叩門的 AI 爬蟲名稱，以及哪些爬蟲被屏蔽。面板還會顯示這些爬蟲帶來的推薦流量數據——這正是開放或屏蔽決策背後的核心權衡。如果想要屏蔽某個模型而允許另一個，只需點擊一下即可。Cloudflare 表示，隨着新爬蟲的出現，列表會自動保持更新。

這筆交易是 Cloudflare 長達一年的系列行動中的最新一環。2025 年，Cloudflare 為新客户默認開啓了 AI 爬蟲屏蔽功能，並推出了按爬取付費（Pay Per Crawl）市場，出版商可向 AI 公司收費以獲得內容訪問權。今年 1 月，Cloudflare 收購了 AI 數據市場初創公司 Human Native Ltd.，以完善針對版權持有者的許可內容工具。

Cloudflare 聯合創始人兼首席執行官馬修·普林斯（Matthew Prince）將這一系列行動描述為“從獨立博客到世界最大出版商的內容創作者”而戰。他稱 Beehiiv 合作是賦予新聞通訊運營商透明度和控制權的下一步，讓他們能夠按照自己的條件與 AI 公司打交道，無論他們希望獲得內容發現還是保留作品。

Beehiiv 聯合創始人兼首席執行官泰勒·登克（Tyler Denk）認為，這項集成是作者手中的一個談判籌碼。他表示，AI 正在改變讀者偶然發現內容的方式，創作者應該掌握這個槓桿。

目前，約有 13.5 萬家出版商通過 Beehiiv 運營新聞通訊、網站和播客。平台不抽取任何訂閲收入，受眾也歸創作者所有。對 Cloudflare 而言，這項集成使其能夠深入創作者經濟，併為它寄望改變 AI 公司付費方式的按爬取付費模式開闢新的入口。