Cloudflare 將預設遮蔽廣告支援網頁上的搜尋和抓取機器人

Cloudflare 於本週三宣佈，將很快預設阻止混合用途爬蟲訪問其廣告支援的客戶網站，這是該公司持續努力讓網站出版商更好地控制與AI服務互動的一部分。

蘋果、谷歌和微軟的必應運營的爬蟲可能受到Cloudflare這一決定的影響，儘管每家科技巨頭都提供了AI選擇退出機制，可能使他們免受制裁。

網路爬蟲會自動向網站發出網路請求，用途各異。谷歌幾十年來一直使用爬蟲訪問網站，以便將其納入搜尋索引。在過去幾年中，許多爬蟲開始訪問網站以收集內容用於訓練AI模型。這引發了各種對策——出版商認為他們沒有因AI公司抓取內容用於模型訓練而獲得公平補償。

但是，由於谷歌的爬蟲Googlebot同時承擔搜尋索引和AI訓練的內容抓取任務，網站出版商往往容忍它的存在，因為他們擔心遮蔽可能導致網站從谷歌搜尋結果中消失。微軟的Bingbot情況類似。蘋果也將其Applebot爬蟲用於AI資料收集和索引職責。蘋果在6月表示：“Applebot抓取的資料也可能用於訓練支援蘋果產品中生成式AI功能的蘋果基礎模型，包括Apple Intelligence、服務和開發者工具。”

蘋果和谷歌支援robots.txt指令，允許出版商選擇退出AI資料收集（透過Applebot-Extended和Google-Extended）。必應支援robots元標籤的content="noarchive"屬性，也能阻止資料收集。然而，其他爬蟲運營商常常忽略自願的robots.txt。因此，Cloudflare旨在為網站所有者提供一個宣告性的內容閘道器。

Cloudflare聯合創始人兼CEO Matthew Prince在一份宣告中表示：“現在網際網路上的大部分流量是非人類的，我們必須更進一步、更快行動，以便一個可持續的生態系統能夠出現。Cloudflare的新工具和合作夥伴關係為網站所有者提供了更高的可見性和商業機會，並獎勵那些擁有明確透明意圖的AI公司。我們希望提議的預設更改能鼓勵混合用途爬蟲將搜尋與代理使用和訓練分開。”

從2026年9月15日起，新Cloudflare客戶和現有客戶的新站點將預設允許搜尋爬取，但阻止從廣告頁面進行訓練和代理訪問。這些更改也將應用於未更改設定的免費層客戶。正如該公司所說：“這確保產生收入的內容未經內容所有者明確許可不能被爬取。”

在人類使用廣告攔截器和Cloudflare阻止廣告頁面機器人之間，許多營銷材料可能被遺忘。但Cloudflare客戶可以透過更改預設站點設定來重新允許爬蟲訪問其廣告支援頁面。

Cloudflare還進行了其他兩項更改。其“按爬取付費”收費亭更名為“按使用付費”。其理念是在內容創造價值時獎勵出版商，而不僅僅是在被抓取時。為此，Cloudflare與基於API的搜尋公司Ceramic.ai合作，當出版商的內容出現在Ceramic.ai搜尋結果中時，他們就能獲得報酬。它還與面向AI代理的搜尋引擎You.com合作，在代理有需求時生成內容付款。公司發言人未立即回應有關“按爬取付費”採用情況的詢問。

最後，Cloudflare推出新的商業洞察儀表板，讓出版商更深入瞭解機器人如何消費內容以及AI模型傳送了多少流量。