AI公司被曝购买并销毁数百万本书籍用于训练模型

据404 Media最新调查报告，AI公司正通过中间商大量购买二手书籍，用于获取高质量训练数据，随后将书籍销毁。这一做法引发了关于知识私有化和文化资源流失的广泛讨论。

报告指出，AI公司对训练数据质量要求极高，而互联网上充斥着大量由AI生成的低质量内容（俗称“AI垃圾”），污染了数据池。因此，头部AI公司转向2022年前出版的人类作者书籍，这些书籍更可能包含原创且未受污染的内容。据悉，Anthropic等公司已投入数百万美元购买大量印刷书籍，用于训练其Claude模型，并在扫描后销毁书籍。

ISBNdb是一个拥有超过1.11亿本编目书籍的在线数据库，原本服务于书商、图书馆和分销商。随着AI行业的爆发，ISBNdb转向为AI公司提供批量购书服务。据404 Media报道，单笔订单数量从1000册到100万册不等。一位不愿透露姓名的专业书商表示，自今年4月以来，书籍销量出现了前所未有的激增。该书商此前一周仅售出约20本书，而近几个月每周销量飙升至数百本，是正常销量的五倍。其他平台如Alibris和Biblio上的书商也报告了类似的批量购买高峰。

虽然尚无确凿证据证明ISBNdb或其他AI公司直接进行购买，但存在一些可疑迹象。大规模购买仅包含带有国际标准书号（ISBN）的书籍，且不区分主题、体裁或作者。购买者似乎无视定价，甚至以高价抢购任何书籍。在Anthropic诉讼案中，曾参与Google Books项目并后来领导Anthropic“Project Panama”数字化项目的Tom Harvey证实，该AI公司雇佣了多家文档扫描公司，其中包括提供高速破坏性扫描服务的Datamation Information Services。破坏性扫描通常由人员将书籍拆解，将单页送入高速工业扫描仪，效率更高且成本更低，导致数百万本书籍被销毁。

印刷书籍无疑是AI的知识宝库，但许多人质疑这种做法是否合理。目前尚不清楚AI公司在数字化过程中是否过滤掉了稀有或绝版书籍。另一个主要问题是，扫描后的书籍直接进入AI的私有数据库，公众无法访问。虽然这可能会带来更智能的AI，但代价是这些信息可能无法被后代获取。