「AI」という言葉はもはや意味を失った
この記事では、AI企業による大規模なウェブスクレイピングがサーバーダウンを引き起こす問題と、その対策としてのAnubisシステムを紹介しています。AnubisはHashcashに着想を得たProof-of-Work方式を採用し、大規模スクレイピングのコストを増大させる一時的な解決策です。
近年、AI技術の急速な発展に伴い、AI企業によるウェブサイトからのデータスクレイピングが頻繁に行われるようになりました。この大規模なスクレイピングはサーバーに多大な負荷をかけ、ダウンタイムを引き起こし、一般ユーザーがリソースにアクセスできなくなるという問題を生じています。この問題に対処するため、一部のウェブサイトではAnubisと呼ばれるProof-of-Work（作業証明）ベースの対策システムを導入しています。
Anubisは、もともと電子メールスパムを削減するために提案されたHashcashから着想を得ています。その基本理念は、個々のユーザーにとっては追加の計算負荷は無視できる程度である一方、大規模なスクレイパーにとっては累積コストが非常に高くなるという点です。現在のところ、Anubisは暫定的な対策として運用されており、開発チームはより高度なフィンガープリンティング技術、特にヘッドレスブラウザの検出（例えばフォントレンダリング方法の違いを利用）の研究を進めています。将来的には、ユーザーが正当な訪問者である可能性が高いと識別された場合、作業証明のチャレンジページを表示する必要がなくなると期待されています。
なお、AnubisはモダンなJavaScript機能に依存しており、JShelterなどのプラグインによって無効化される可能性があります。正常にアクセスするためには、このドメインに対してそのようなプラグインを無効にする必要があります。