AI企業が書籍を購入し裁断してAI訓練に利用か

404 Mediaの最近の調査報道によると、AI企業は仲介業者を通じて大量の中古本を購入し、高品質な訓練データを抽出した後、書籍を廃棄している。この慣行は、知識の私有化と文化資源の喪失について広範な議論を引き起こしている。

報告書によれば、AI企業は訓練データの品質に非常にこだわっており、インターネット上にはAIが生成した低品質なコンテンツ（いわゆる「AIスロップ」）が溢れ、データプールを汚染している。そのため、大手AI企業は2022年以前に出版された人間著者の書籍に注目し、これらの書籍はオリジナルで未汚染のコンテンツを含む可能性が高い。Anthropicなどの企業は、Claudeモデルの訓練のために数百万ドルを投じて大量の印刷書籍を購入し、スキャン後に廃棄している。

ISBNdbは、1億1100万冊以上の書籍をカタログ化したオンラインデータベースで、元々は書店、図書館、販売業者向けのサービスを提供していた。しかし、AI産業の爆発的成長に伴い、ISBNdbはAI企業向けの一括書籍購入サービスに事業転換した。404 Mediaによると、1回の注文で1000冊から100万冊もの書籍が購入されている。匿名を希望するプロの書店業者は、今年4月以降、書籍販売が前例のない急増を見せたと語る。それまでは好調な週でも約20冊しか販売していなかったが、ここ数ヶ月は週に数百冊にまで急増し、通常の5倍のボリュームになった。AlibrisやBiblioなどのプラットフォーム上の他の書店業者も同様の大量購入の急増を報告している。

ISBNdbや他のAI企業が直接購入しているという確固たる証拠はないが、いくつかの兆候がある。大量購入は国際標準書籍番号（ISBN）を持つ書籍のみを対象としており、主題、ジャンル、著者によるパターンは見られない。購入者は価格を無視し、たとえ割高でもあらゆる書籍を買い占めているようだ。Anthropic訴訟では、Google Booksの作成に参加し後にAnthropicの「Project Panama」デジタル化プロジェクトを率いたTom Harveyが、AI企業が複数の文書スキャン会社を雇ったことを確認した。高速破壊スキャンサービスを提供するDatamation Information Servicesもその一つだ。破壊スキャンは、人員が書籍を分解し、ページを高速産業用スキャナーに通す方法で、効率が良く低コストであるため、数百万冊の書籍が廃棄されている。

印刷書籍はAIにとって知識の宝庫であることは明らかだが、多くの人がこの慣行の倫理的問題を指摘する。AI企業がデジタル化の過程で希少本や絶版本をフィルタリングしているかどうかは不明である。もう一つの大きな問題は、スキャンされた書籍が直接AIのプライベートデータベースに移され、一般の人がアクセスできないことだ。より賢いAIが手に入るかもしれないが、その代償として、将来の世代がその情報を利用できなくなる可能性がある。