您的網站，您的規則：面向所有客戶的新AI流量選項
Cloudflare 在第二個內容獨立日推出新的 AI 流量管理選項，允許網站所有者更精細地控制搜尋、代理和訓練機器人流量。新功能包括針對不同 AI 用例的獨立管理、基於廣告頁面的預設設定，以及為企業客戶提供的 BotBase 機器人資料庫。
一年前，Cloudflare 宣佈了首個“內容獨立日”，為網站所有者提供一鍵阻止 AI 機器人的工具。如今，在第二個內容獨立日，Cloudflare 推出了更精細的 AI 流量管理選項，允許使用者區分並管理搜尋、代理和訓練三大類機器人。這一變化源於網站所有者對更靈活控制的需求：他們既希望保護內容免受濫用，又不願完全放棄搜尋流量。Cloudflare 認識到，AI 機器人並非單一實體，其行為差異巨大，因此需要分類管理。
新分類包括：搜尋機器人（為搜尋引擎索引內容）、代理機器人（代表使用者即時執行操作，如 ChatGPT-User）和訓練機器人（抓取資料用於模型訓練）。Cloudflare 鼓勵運營商將多用途機器人分離為單獨的爬蟲，以提升透明度。此外，所有客戶（包括免費使用者）均可透過設定面板分別控制這三類機器人的訪問許可權。
從 2026 年 9 月 15 日起，Cloudflare 將調整預設設定：對於展示廣告的頁面，訓練和代理機器人將被預設阻止，而搜尋機器人仍被允許。廣告頁面被視為需要人類注意力的內容，因此係統會自動遮蔽可能干擾這一目標的機器人。同時，多用途機器人（如 Googlebot）將根據其所有行為型別被允許或阻止，預設採用最嚴格的規則。網站所有者可在 9 月 15 日前自由選擇退出這些預設設定。
企業客戶還可使用全新的 BotBase 資料庫，這是一個可搜尋的機器人目錄，顯示每個機器人的行為分類和內容使用方式。透過 BotBase，客戶可以快速過濾特定機器人流量，並複製檢測 ID 用於安全規則。未來，BotBase 還將成為自動化內容的管理中心。
Cloudflare 還引入了“內容使用”訊號，允許網站所有者指定機器人如何使用其內容：immediate（僅互動，不儲存）、reference（預設，索引並連結回原站）或 full（可總結和複製）。該訊號已整合到 robots.txt 的 Content-Signal 欄位中。從即日起，啟用管理 robots.txt 的客戶將自動新增 use=reference 偏好。Cloudflare 還將在 BotBase 中跟蹤每個機器人的內容使用情況，進一步幫助網站所有者做出明智決策。