xAI起诉用户利用Grok生成儿童性虐待深度伪造内容

埃隆·马斯克旗下的人工智能公司xAI近日对一名南卡罗来纳州男子提起诉讼，指控其使用该公司开发的聊天机器人Grok生成并传播儿童性虐待材料（CSAM）。根据路透社率先报道的起诉书，xAI称被告特里·韦恩·哈伍德“明知且故意利用Grok绕过安全防护，修改非自愿图像，并生成和传播CSAM”，该行为违反了公司的使用政策。

哈伍德已于今年二月因涉嫌持有和传播CSAM被捕，目前面临八项重罪指控。xAI在诉讼中指出，与哈伍德刑事指控相关“至少部分”图像是使用Grok生成或修改的，且哈伍德绕过了Grok的安全机制，“滥用该工具将非色情照片转换为性暴露图像”，且未经当事人同意。这一行为不仅触犯了法律，也对xAI的声誉和法律地位构成了威胁。

去年，xAI为Grok推出了“刺激”模式，随后增加了图像编辑功能。这一更新导致大量AI生成的色情深度伪造内容涌现，其中涉及未成年人的情况尤为严重。今年三月，一群青少年起诉xAI，声称Grok生成了她们未成年人时期的性化图像。马斯克当时回应称：“任何使用Grok制作非法内容的人，将面临与上传非法内容相同的后果。”不过，此次似乎是xAI首次因Grok生成的深度伪造内容对用户发起诉讼。

xAI在诉讼中强调，哈伍德的行为使公司面临“重大法律风险和声誉损害”。该公司请求法院判令哈伍德赔偿xAI因此遭受的任何损失，以及“为辩护因被告行为而提起的任何法律诉讼所产生的合理费用”。同时，xAI还要求法官禁止哈伍德创建xAI账户或使用Grok。这一案件凸显了AI技术被滥用于非法目的的风险，以及科技公司在防范和应对此类行为方面面临的挑战。随着AI生成内容的日益普及，如何平衡技术创新与用户安全，已成为行业亟需解决的问题。