AI News HubLIVE
站内改写2 分钟阅读

大学依赖AI检测软件抓作弊,但有效吗?

大学越来越多地使用AI检测工具来识别学生作业中是否使用生成式AI,但研究表明这些工具存在高误报率,甚至将人类写的文章误判为AI生成,引发公平性担忧。

来源Hacker News AI作者: gnabgib

近年来,随着ChatGPT等生成式AI工具的普及,大学面临越来越多的AI生成或辅助撰写的学生作业。为了应对这一挑战,许多高校开始使用AI检测软件,如Turnitin、GPTZero和Copyleaks等。然而,这些工具的有效性和公平性正受到广泛质疑。

爱达荷州立大学的化学本科生Lauren Jager在申请博士项目时,发现申请系统警告称会使用AI检测工具筛选个人陈述。她原本自信未使用AI,但当她将自己的陈述输入多个在线检测器后,结果几乎全部显示为“100% AI生成”。Jager不得不重写陈述,刻意降低完美度以避免误判。类似事件在世界各地屡见不鲜。

AI检测工具通常基于“困惑度”指标,即评估文本中每个单词的可预测性。AI生成的文本往往遵循更统计规律的序列,因而困惑度较低,容易被标记。但这种方法并不完美。2025年的一项研究测试了当时最流行的GPTZero,发现它对完全由AI生成的论文检测准确率较高,但误报率约为16%,即约六分之一的人类写作文本被错误标记。另一项2023年研究评估了多种检测工具,发现它们对较旧的GPT-3.5版本生成的文本识别较好,但对GPT-4效果下降,且对人类论文的判定结果不一致。

更令人担忧的是,一些检测工具将美国《独立宣言》这种明确由人类撰写的文献判定为AI生成。《自然》杂志多次测试ZeroGPT,该工具认定《独立宣言》有95%到100%的可能性是AI产物。这表明检测工具可能对某些写作风格(如遵循严格语法规则或修辞传统)的文本有系统性偏见。

混合文本成为另一个挑战。学生可能让AI生成初稿后再手动修改,或使用“人性化”工具重写AI文本以降低检测分数。检测公司也在开发识别这些手段的新方法,但新型规避工具不断涌现,形成了一场“军备竞赛”。研究者指出,即使是目前被认为最准确的Pangram Labs检测器,在大规模分析中能揭示趋势,但在个案中不应作为直接证据。

英国越南大学的Mike Perkins强调,检测工具的结果不应被用于高利害决策,因为误报可能对无辜学生造成严重影响。他提醒,教育者往往过度信任自动化分数,但AI检测缺乏抄袭检测那样的直接证据链。此外,斯坦福大学2023年的研究显示,AI检测工具对非母语英语写作者的误报率高达61.3%,存在明显的偏见。

尽管AI检测技术仍在进步,但当前工具远非可靠。教育机构需要在维护学术诚信与避免不公平指控之间寻求平衡。一些专家建议,更好的做法是调整评估方式,例如增加口试、课堂写作或过程性评价,而不是单纯依赖检测软件。