AI公司被曝購買並銷燬數百萬本書籍用於訓練模型

據404 Media最新調查報告，AI公司正通過中間商大量購買二手書籍，用於獲取高質量訓練數據，隨後將書籍銷燬。這一做法引發了關於知識私有化和文化資源流失的廣泛討論。

報告指出，AI公司對訓練數據質量要求極高，而互聯網上充斥着大量由AI生成的低質量內容（俗稱“AI垃圾”），污染了數據池。因此，頭部AI公司轉向2022年前出版的人類作者書籍，這些書籍更可能包含原創且未受污染的內容。據悉，Anthropic等公司已投入數百萬美元購買大量印刷書籍，用於訓練其Claude模型，並在掃描後銷燬書籍。

ISBNdb是一個擁有超過1.11億本編目書籍的在線數據庫，原本服務於書商、圖書館和分銷商。隨着AI行業的爆發，ISBNdb轉向為AI公司提供批量購書服務。據404 Media報道，單筆訂單數量從1000冊到100萬冊不等。一位不願透露姓名的專業書商表示，自今年4月以來，書籍銷量出現了前所未有的激增。該書商此前一週僅售出約20本書，而近幾個月每週銷量飆升至數百本，是正常銷量的五倍。其他平台如Alibris和Biblio上的書商也報告了類似的批量購買高峯。

雖然尚無確鑿證據證明ISBNdb或其他AI公司直接進行購買，但存在一些可疑跡象。大規模購買僅包含帶有國際標準書號（ISBN）的書籍，且不區分主題、體裁或作者。購買者似乎無視定價，甚至以高價搶購任何書籍。在Anthropic訴訟案中，曾參與Google Books項目並後來領導Anthropic“Project Panama”數字化項目的Tom Harvey證實，該AI公司僱傭了多家文檔掃描公司，其中包括提供高速破壞性掃描服務的Datamation Information Services。破壞性掃描通常由人員將書籍拆解，將單頁送入高速工業掃描儀，效率更高且成本更低，導致數百萬本書籍被銷燬。

印刷書籍無疑是AI的知識寶庫，但許多人質疑這種做法是否合理。目前尚不清楚AI公司在數字化過程中是否過濾掉了稀有或絕版書籍。另一個主要問題是，掃描後的書籍直接進入AI的私有數據庫，公眾無法訪問。雖然這可能會帶來更智能的AI，但代價是這些信息可能無法被後代獲取。