AI News HubLIVE
站內改寫2 分鐘閱讀

大學依賴AI檢測軟件抓作弊,但有效嗎?

大學越來越多地使用AI檢測工具來識別學生作業中是否使用生成式AI,但研究表明這些工具存在高誤報率,甚至將人類寫的文章誤判為AI生成,引發公平性擔憂。

來源Hacker News AI作者: gnabgib

近年來,隨着ChatGPT等生成式AI工具的普及,大學面臨越來越多的AI生成或輔助撰寫的學生作業。為了應對這一挑戰,許多高校開始使用AI檢測軟件,如Turnitin、GPTZero和Copyleaks等。然而,這些工具的有效性和公平性正受到廣泛質疑。

愛達荷州立大學的化學本科生Lauren Jager在申請博士項目時,發現申請系統警告稱會使用AI檢測工具篩選個人陳述。她原本自信未使用AI,但當她將自己的陳述輸入多個在線檢測器後,結果幾乎全部顯示為“100% AI生成”。Jager不得不重寫陳述,刻意降低完美度以避免誤判。類似事件在世界各地屢見不鮮。

AI檢測工具通常基於“困惑度”指標,即評估文本中每個單詞的可預測性。AI生成的文本往往遵循更統計規律的序列,因而困惑度較低,容易被標記。但這種方法並不完美。2025年的一項研究測試了當時最流行的GPTZero,發現它對完全由AI生成的論文檢測準確率較高,但誤報率約為16%,即約六分之一的人類寫作文本被錯誤標記。另一項2023年研究評估了多種檢測工具,發現它們對較舊的GPT-3.5版本生成的文本識別較好,但對GPT-4效果下降,且對人類論文的判定結果不一致。

更令人擔憂的是,一些檢測工具將美國《獨立宣言》這種明確由人類撰寫的文獻判定為AI生成。《自然》雜誌多次測試ZeroGPT,該工具認定《獨立宣言》有95%到100%的可能性是AI產物。這表明檢測工具可能對某些寫作風格(如遵循嚴格語法規則或修辭傳統)的文本有系統性偏見。

混合文本成為另一個挑戰。學生可能讓AI生成初稿後再手動修改,或使用“人性化”工具重寫AI文本以降低檢測分數。檢測公司也在開發識別這些手段的新方法,但新型規避工具不斷湧現,形成了一場“軍備競賽”。研究者指出,即使是目前被認為最準確的Pangram Labs檢測器,在大規模分析中能揭示趨勢,但在個案中不應作為直接證據。

英國越南大學的Mike Perkins強調,檢測工具的結果不應被用於高利害決策,因為誤報可能對無辜學生造成嚴重影響。他提醒,教育者往往過度信任自動化分數,但AI檢測缺乏抄襲檢測那樣的直接證據鏈。此外,斯坦福大學2023年的研究顯示,AI檢測工具對非母語英語寫作者的誤報率高達61.3%,存在明顯的偏見。

儘管AI檢測技術仍在進步,但當前工具遠非可靠。教育機構需要在維護學術誠信與避免不公平指控之間尋求平衡。一些專家建議,更好的做法是調整評估方式,例如增加口試、課堂寫作或過程性評價,而不是單純依賴檢測軟件。