AI News HubLIVE
站內改寫2 分鐘閱讀

僅8.9%的網站屏蔽AI爬蟲,但94.8%的網站從未被AI答案提及

AI可見性指數將“對AI可見”拆分為兩個獨立問題:答案存在度與機器可讀性。2026年7月23日至8月2日,193個網站被用於5,978次AI助手查詢,其中94.8%的網站從未被ChatGPT、Claude、Gemini或Perplexity點名;所有回答中只有1.9%提到了被詢問的企業。與此同時,436個網站中僅8.9%在robots.txt中屏蔽了至少一個AI爬蟲,且屏蔽主要針對GPTBot等訓練爬蟲,而非用於實時回答的檢索代理。

來源Hacker News AI作者: SpikeyCoder

Website Auditor發佈了第二期AI可見性指數,嘗試回答一個越來越緊迫的問題:當用户向AI助手詢問某類服務商時,你的網站會不會被推薦?報告認為,“對AI可見”其實是兩個不同的問題:一是答案存在度(answer presence),即AI助手是否真的念出你的名字;二是機器可讀性(machine readability),即你的網站是否讓AI爬蟲能夠讀懂、抓取和引用。前者取決於外部模型的行為,後者則完全在網站所有者的控制範圍內,因此報告將兩者並排公佈,而不合成單一分數。

核心發現並不樂觀。在2026年7月23日至8月2日期間,193個網站共產生了5,978條面向購買意圖問題的助手回答,結果94.8%的受審計網站從未在任何一條回答中被點名;只有10個網站被至少一位助手提及過一次。按助手分,Gemini的覆蓋面最廣,在2.9%的回答中提到了受審計企業,ChatGPT為1.7%,Claude和Perplexity均為1.6%。由於四款助手在同一天被詢問相同的問題,這些差異體現的是助手之間的差距而非問題難度。

爬蟲攔截方面,436個網站中只有39個(8.9%)在robots.txt中屏蔽了至少一個AI用户代理。值得注意的是,屏蔽主要指向訓練型爬蟲:GPTBot被38個網站屏蔽,ClaudeBot被36個網站屏蔽;而真正在用户提問時抓取頁面以生成回答的檢索型代理——OAI-SearchBot和Perplexity-User——分別只被4個和3個網站屏蔽。報告提醒,屏蔽訓練爬蟲對今日回答沒有任何損失,但屏蔽檢索代理會讓網站失去被引用的機會,代價大得多。

機器可讀性指標也暴露出普遍的缺口。436個網站中,79.4%發佈了robots.txt,73.9%發佈了sitemap.xml,77.1%有meta描述,69.5%使用了Open Graph標籤,但只有54.6%的網站首頁包含任意schema.org結構化數據,採用LocalBusiness模式(明示名稱、地址、類別的機器可讀標記)的僅佔19.3%。對不少本地企業來説,這意味着AI助手在頁面上只能讀到散文,而沒有任何可靠的實體信息。

方法上,報告強調每個域名只取一次投票權,所有百分比由整數計數在渲染時推導,失敗的查詢被排除而非計為缺席。數據也存在明顯侷限:樣本是自願運行免費審計的網站,偏向中小型本地企業,不能代表整個互聯網;跨助手比較自2026-07-23才開始,因為此前的審計只有Perplexity的回答;名稱匹配採用模糊匹配,基於域名被識別的情況約佔五分之一,意味着存在度更可能被低估。

該指數是永久頁面,後續每版更新都會增加帶日期的記錄。第二版(2026-08-02)將面板從175個網站擴至193個,爬蟲信號語料從418個擴至436個,所有頭部份額變動均小於1個百分點,Gemini繼續保持最廣覆蓋。網站所有者也可用同一免費工具檢查自身AI可見性,查詢四種助手是否知道自己的業務。