Cloudflare 將默認屏蔽廣告支持網頁上的搜索和抓取機器人

Cloudflare 於本週三宣佈，將很快默認阻止混合用途爬蟲訪問其廣告支持的客户網站，這是該公司持續努力讓網站出版商更好地控制與AI服務互動的一部分。

蘋果、谷歌和微軟的必應運營的爬蟲可能受到Cloudflare這一決定的影響，儘管每家科技巨頭都提供了AI選擇退出機制，可能使他們免受制裁。

網絡爬蟲會自動向網站發出網絡請求，用途各異。谷歌幾十年來一直使用爬蟲訪問網站，以便將其納入搜索索引。在過去幾年中，許多爬蟲開始訪問網站以收集內容用於訓練AI模型。這引發了各種對策——出版商認為他們沒有因AI公司抓取內容用於模型訓練而獲得公平補償。

但是，由於谷歌的爬蟲Googlebot同時承擔搜索索引和AI訓練的內容抓取任務，網站出版商往往容忍它的存在，因為他們擔心屏蔽可能導致網站從谷歌搜索結果中消失。微軟的Bingbot情況類似。蘋果也將其Applebot爬蟲用於AI數據收集和索引職責。蘋果在6月表示：“Applebot抓取的數據也可能用於訓練支持蘋果產品中生成式AI功能的蘋果基礎模型，包括Apple Intelligence、服務和開發者工具。”

蘋果和谷歌支持robots.txt指令，允許出版商選擇退出AI數據收集（通過Applebot-Extended和Google-Extended）。必應支持robots元標籤的content="noarchive"屬性，也能阻止數據收集。然而，其他爬蟲運營商常常忽略自願的robots.txt。因此，Cloudflare旨在為網站所有者提供一個聲明性的內容網關。

Cloudflare聯合創始人兼CEO Matthew Prince在一份聲明中表示：“現在互聯網上的大部分流量是非人類的，我們必須更進一步、更快行動，以便一個可持續的生態系統能夠出現。Cloudflare的新工具和合作夥伴關係為網站所有者提供了更高的可見性和商業機會，並獎勵那些擁有明確透明意圖的AI公司。我們希望提議的默認更改能鼓勵混合用途爬蟲將搜索與代理使用和訓練分開。”

從2026年9月15日起，新Cloudflare客户和現有客户的新站點將默認允許搜索爬取，但阻止從廣告頁面進行訓練和代理訪問。這些更改也將應用於未更改設置的免費層客户。正如該公司所説：“這確保產生收入的內容未經內容所有者明確許可不能被爬取。”

在人類使用廣告攔截器和Cloudflare阻止廣告頁面機器人之間，許多營銷材料可能被遺忘。但Cloudflare客户可以通過更改默認站點設置來重新允許爬蟲訪問其廣告支持頁面。

Cloudflare還進行了其他兩項更改。其“按爬取付費”收費亭更名為“按使用付費”。其理念是在內容創造價值時獎勵出版商，而不僅僅是在被抓取時。為此，Cloudflare與基於API的搜索公司Ceramic.ai合作，當出版商的內容出現在Ceramic.ai搜索結果中時，他們就能獲得報酬。它還與面向AI代理的搜索引擎You.com合作，在代理有需求時生成內容付款。公司發言人未立即回應有關“按爬取付費”採用情況的詢問。

最後，Cloudflare推出新的商業洞察儀表板，讓出版商更深入瞭解機器人如何消費內容以及AI模型發送了多少流量。