您的網站，您的規則：面向所有客户的新AI流量選項
Cloudflare 在第二個內容獨立日推出新的 AI 流量管理選項，允許網站所有者更精細地控制搜索、代理和訓練機器人流量。新功能包括針對不同 AI 用例的獨立管理、基於廣告頁面的默認設置，以及為企業客户提供的 BotBase 機器人數據庫。
一年前，Cloudflare 宣佈了首個“內容獨立日”，為網站所有者提供一鍵阻止 AI 機器人的工具。如今，在第二個內容獨立日，Cloudflare 推出了更精細的 AI 流量管理選項，允許用户區分並管理搜索、代理和訓練三大類機器人。這一變化源於網站所有者對更靈活控制的需求：他們既希望保護內容免受濫用，又不願完全放棄搜索流量。Cloudflare 認識到，AI 機器人並非單一實體，其行為差異巨大，因此需要分類管理。
新分類包括：搜索機器人（為搜索引擎索引內容）、代理機器人（代表用户實時執行操作，如 ChatGPT-User）和訓練機器人（抓取數據用於模型訓練）。Cloudflare 鼓勵運營商將多用途機器人分離為單獨的爬蟲，以提升透明度。此外，所有客户（包括免費用户）均可通過設置面板分別控制這三類機器人的訪問權限。
從 2026 年 9 月 15 日起，Cloudflare 將調整默認設置：對於展示廣告的頁面，訓練和代理機器人將被默認阻止，而搜索機器人仍被允許。廣告頁面被視為需要人類注意力的內容，因此係統會自動屏蔽可能干擾這一目標的機器人。同時，多用途機器人（如 Googlebot）將根據其所有行為類型被允許或阻止，默認採用最嚴格的規則。網站所有者可在 9 月 15 日前自由選擇退出這些默認設置。
企業客户還可使用全新的 BotBase 數據庫，這是一個可搜索的機器人目錄，顯示每個機器人的行為分類和內容使用方式。通過 BotBase，客户可以快速過濾特定機器人流量，並複製檢測 ID 用於安全規則。未來，BotBase 還將成為自動化內容的管理中心。
Cloudflare 還引入了“內容使用”信號，允許網站所有者指定機器人如何使用其內容：immediate（僅交互，不存儲）、reference（默認，索引並鏈接回原站）或 full（可總結和複製）。該信號已集成到 robots.txt 的 Content-Signal 字段中。從即日起，啓用管理 robots.txt 的客户將自動添加 use=reference 偏好。Cloudflare 還將在 BotBase 中跟蹤每個機器人的內容使用情況，進一步幫助網站所有者做出明智決策。