今日Hacker News的爬蟲使用者代理一覽

本日，一位使用者透過Show HN分享了Hacker News站點上爬蟲使用者代理的即時統計資料，共計79種不同的使用者代理字串，每條字串後附有當日出現的次數。這份資料不僅揭示了HN流量的構成，也為觀察網際網路爬蟲生態提供了寶貴的視窗。

從統計結果來看，Chrome系瀏覽器佔據了壓倒性優勢，其中Windows 10平臺上的Chrome 120以79次訪問高居榜首，緊隨其後的是一系列Chrome變體，包括Windows 10上的Chrome 148（16次）、Mac上的Chrome 148（10次）等。Firefox瀏覽器也有多個版本出現，例如Windows上的Firefox 150（18次）和Linux上的Firefox 123（17次）。移動端方面，iPhone上的Safari瀏覽器（版本26.4）出現了8次，Android裝置上的Chrome 148移動版也貢獻了13次訪問。

值得關注的是，搜尋引擎爬蟲依然活躍：Bingbot和YandexBot各出現25次，Googlebot僅出現2次，而Bytespider（字節跳動爬蟲）也出現了2次。此外，大量自定義爬蟲和AI相關爬蟲的湧現成為亮點。OpenAI的GPTBot出現2次，Anthropic的ClaudeBot出現1次，PerplexityBot出現3次，ChatGPT-User也有1次記錄。另外還有intel-collector（26次）、GCombinator（10次）、FlamingoBot（5次）等特定專案的爬蟲。

社交網路與聚合平臺方面，FacebookExternalHit出現4次，LinkedInBot出現3次，Discordbot出現7次，FlipboardProxy、Embedly、Instapaper、FreshRSS等閱讀器和聚合器也各有出現。值得注意的是，部分代理如“Claude-User (claude-code/2.1.104)”表明AI編碼助手也在抓取HN內容。

資料還顯示了一些技術細節，比如Ruby語言編寫的爬蟲出現了6次，Python的requests庫（多個版本）累計出現多次，Go-http-client出現7次，Node.js環境也貢獻了7次。此外，一些老舊的瀏覽器版本如Chrome 71、65，以及Opera 9.80等仍然存在，令人意外。

整體而言，這份列表不僅展示了Hacker News作為技術社群的被訪問廣度，也反映了當前網際網路爬蟲的多元化趨勢——從傳統搜尋引擎到新興AI模型訓練爬蟲，從新聞聚合器到個人專案指令碼，無不將HN視為重要的內容源。對於站點管理員和開發者而言，這些資料有助於理解與最佳化伺服器資源分配，同時也提出了關於機器人管理、資料抓取策略的新思考。