AI爬蟲流量已與Googlebot持平
根據對登上Hacker News首頁的網站進行的30天流量分析，AI爬蟲（如GPTBot、ClaudeBot）與搜索引擎爬蟲各佔總流量的35%，並列第一。文章詳細比較了各類爬蟲的行為特徵，包括最積極、最禮貌、最執着以及最全面的爬蟲排名。
當你的網站登上Hacker News首頁後，流量和爬蟲情況會如何變化？AI爬蟲的訪問量是否與Google相當？哪個爬蟲最激進？哪個最節儉？
一篇題為“Google just made you a search quality rater. You won't get paid.”的文章登上了Hacker News首頁。作者Ajay C利用Claude構建了一個簡單的爬蟲檢測器，記錄了30天內所有已知爬蟲的訪問數據。
結果顯示，在240,060次來自24個不同爬蟲的訪問中，AI爬蟲（佔35.0%）與搜索引擎爬蟲（佔35.0%）並列第一。SEO工具佔21.2%，社交預覽佔8.6%，互聯網檔案館僅佔0.2%。
最積極的爬蟲（日均訪問量）
- Googlebot: 1228次/天，總計36,840次，訪問1,474個獨特路徑
- Bingbot: 1187次/天，總計35,610次，訪問1,785個獨特路徑
- AmazonBot: 1101次/天，總計33,040次，訪問1,442個獨特路徑
- MajesticBot: 1062次/天，總計31,860次，訪問2,026個獨特路徑
- ChatGPT-User: 812次/天，總計24,350次，訪問239個獨特路徑
- ClaudeBot: 581次/天，總計17,430次，訪問647個獨特路徑
- AhrefsBot: 485次/天，總計14,550次，訪問1,279個獨特路徑
- LinkedInBot: 478次/天，總計14,340次，僅訪問15個獨特路徑
最禮貌的爬蟲（每次路徑訪問次數越低越禮貌）
- AhrefsBot: 11.4次/路徑
- Applebot: 11.9次/路徑
- MajesticBot: 15.7次/路徑
- SemrushBot: 16.2次/路徑
- Bingbot: 20.0次/路徑
- AmazonBot: 22.9次/路徑
- Googlebot: 25.0次/路徑
- ClaudeBot: 26.9次/路徑
最執着的爬蟲（重複訪問少量路徑）
- LinkedInBot: 956次/路徑，總計14,340次，僅15個路徑
- FacebookBot: 170.3次/路徑，總計6,130次，36個路徑
- ChatGPT-User: 101.9次/路徑，總計24,350次，239個路徑
- Internet Archive: 16.0次/路徑，總計480次，30個路徑
最全面的探索者
- MajesticBot: 2,026個獨特路徑
- Bingbot: 1,785個
- Googlebot: 1,474個
- AmazonBot: 1,442個
- AhrefsBot: 1,279個
- ClaudeBot: 647個
- Applebot: 575個
罕見訪客
- Internet Archive: 480次，活躍2天
- Baiduspider: 480次，活躍9天
- DuckDuckBot: 470次，活躍11天
- Twitterbot: 160次，活躍4天
- DotBot: 80次，活躍5天
- Pinterestbot: 70次，活躍4天
- Google-Extended (Gemini): 60次，活躍1天
- Screaming Frog: 50次，活躍5天
數據基於mojodojo.io生產數據庫的nexus_bot_visits表，通過用户代理子串匹配32種已知爬蟲模式。未知或偽造的用户代理被排除。