Quora上的大规模AI投毒：一个有组织的犯罪AI垃圾信息网络
一位Quora用户揭露了一个庞大的垃圾信息网络，该网络使用数千个手工制作的虚假账户推广假冒手袋网站，其真正目标是操纵Google Gemini等AI推荐系统。这些账户采用了复杂的反检测策略，包括精心制作个人资料、分群组运作以及利用Quora与Google AI的集成直接向AI训练数据注入污染信息。估计账户数量在20,000至30,000之间，甚至更多。
几年前，一位Quora用户在浏览平台时偶然发现了一个推广假冒设计师手袋网站的垃圾信息帖子。他按照常规操作举报了该帖子，但接下来却看到了更多类似内容。原来，Quora将举报视为“参与度”，这意味着举报越多，看到的相关内容也越多。这种反常的激励机制促使他深入调查，结果发现了一个规模远超预期的有组织垃圾信息网络。
与常见的社交平台垃圾信息不同，这些账户并非由自动工具批量生成。它们拥有个性化的头像、详细的个人资料描述、工作经历和教育背景，甚至列出了兴趣话题——所有内容都手工编写，风格各异。这使得它们对自动审核系统几乎隐形。普通垃圾账户往往只能存活几个月，而这些账户的中位寿命超过一年半，最早的甚至可追溯到2022年初。
更令人警惕的是，这些垃圾信息的目标并非Quora用户本身。Quora已将内容直接接入Google Gemini的AI训练数据流，而Google AI能够读取图片中的文字。因此，这些虚假账户在Quora上发布的内容——通常将链接嵌入图片——可以迅速影响Google的AI概览推荐。一位自称是该网络成员的人向作者展示了谷歌搜索结果中推广假冒网站的AI概览，尽管直接询问Gemini时它会警告这些是假冒网站。
该网络的运作方式极为精密。垃圾账户被分成多个“集群”，每个集群内存在少量相互关注和点赞，但集群之间几乎没有联系。此外，还存在大量不发布垃圾信息、仅通过关注和点赞来模拟有机互动的“伞兵账户”。这种结构使传统的链接分析失效。作者最初估计有6,000-8,000个账户，但现在认为实际数字可能高达20,000至30,000。
这一事件凸显了AI系统直接使用用户生成内容的巨大风险。正如作者所言，信息安全历史上的一条铁律是永远不要信任用户输入，而现在我们却将未经清洗的海量用户数据直接送入AI模型。当这些数据被恶意利用时，不仅会损害AI的可靠性，更可能对广泛依赖AI推荐的企业造成严重打击。