今日Hacker Newsをクロールしたユーザーエージェント一覧

本日、あるユーザーがShow HNを通じて、Hacker Newsをクロールしたユーザーエージェントのリアルタイム統計を公開しました。全部で79種類の異なるユーザーエージェント文字列が出現回数とともにリストアップされており、これはHNへのアクセス源の多様性を如実に示しています。

データを見ると、Chrome系ブラウザが圧倒的に多く、Windows 10上のChrome 120が79回でトップ、続いてWindows 10のChrome 148（16回）、MacのChrome 148（10回）などが並びます。Firefoxも複数バージョンが確認され、Windows上のFirefox 150（18回）、Linux上のFirefox 123（17回）などが上位に入っています。モバイルでは、iPhoneのSafari（バージョン26.4）が8回、AndroidのChrome 148モバイル版が13回アクセスしています。

検索エンジンクローラーでは、BingbotとYandexBotが各25回、Googlebotが2回、Bytespider（ByteDance）が2回と続きます。特筆すべきは、AI関連クローラーの存在です。OpenAIのGPTBotが2回、AnthropicのClaudeBotが1回、PerplexityBotが3回、ChatGPT-Userが1回記録されています。さらに、intel-collector（26回）、GCombinator（10回）、FlamingoBot（5回）といったプロジェクト固有のクローラーも活発です。

ソーシャルメディアやアグリゲーターでは、FacebookExternalHitが4回、LinkedInBotが3回、Discordbotが7回、FlipboardProxy、Embedly、Instapaper、FreshRSSなども確認できます。注目すべきは「Claude-User (claude-code/2.1.104)」のようなAIコーディングアシスタントのクロールも含まれている点です。

技術的な観点では、Ruby製クローラーが6回、Pythonのrequestsライブラリ（複数バージョン）が何度も、Go-http-clientが7回、Node.jsが7回出現しています。また、Chrome 71や65、Opera 9.80といった古いブラウザバージョンもわずかに残っているのが興味深いところです。

このリストは、Hacker Newsがテクノロジーコミュニティとしてどれほど広く参照されているかを示すとともに、従来の検索エンジンから新しいAIモデル学習用クローラー、ニュースアグリゲーター、個人スクリプトまで、多様なクローリングの実態を浮き彫りにしています。サイト管理者や開発者にとっては、サーバーリソースの配分最適化や、ボット管理ポリシー策定のための貴重なデータと言えるでしょう。