AI爬虫流量已与Googlebot持平

根据对登上Hacker News首页的网站进行的30天流量分析，AI爬虫（如GPTBot、ClaudeBot）与搜索引擎爬虫各占总流量的35%，并列第一。文章详细比较了各类爬虫的行为特征，包括最积极、最礼貌、最执着以及最全面的爬虫排名。