Linus Torvalds氏、AIバグ報告の氾濫について語る
Linus Torvalds氏はLKMLで、AI企業による過剰なウェブスクレイピングがサーバーのダウンを引き起こしている問題を指摘し、ハッシュキャッシュ方式のプルーフ・オブ・ワークで大規模スクレイピングを抑制する「Anubis」を紹介しました。
Linuxカーネルメーリングリスト（LKML）において、Linus Torvalds氏がAI関連のバグ報告が増え続けている問題について言及しました。しかし、その核心はAI企業によるウェブサイトの大規模スクレイピングがサーバーに過大な負荷をかけ、ダウンタイムを引き起こし、一般ユーザーのアクセスを妨げている点にありました。
Torvalds氏はこの問題に対する対策として、Anubisシステムを紹介しました。Anubisは、元々スパムメール対策として提案されたHashcashに着想を得たプルーフ・オブ・ワーク方式を採用しています。個人レベルのアクセスでは負荷は無視できる程度ですが、大規模なスクレイパーがリクエストを殺到させると、累積コストが増大し、スクレイピングを著しく高価なものにします。
現在、Anubisは暫定的な解決策と位置づけられています。開発チームは、フォントレンダリングなどの特徴を利用してヘッドレスブラウザをフィンガープリントし、正当なユーザーと悪意のあるスクレイパーをより正確に判別できるよう取り組んでいます。これにより、将来的には正当なユーザーに対してプルーフ・オブ・ワークのチャレンジページを表示する必要がなくなると期待されています。
なお、Anubisは最新のJavaScript機能を必要とするため、JShelterなどのプラグインがこれらの機能を無効化する可能性があります。そのため、このドメインでは該当するプラグインを無効にしてアクセスする必要があります。Torvalds氏のこの発言は、AIによるデータ収集とウェブサイト保護のバランスについて、改めて議論を呼んでいます。