關於AI文本檢測
本文對AI文本檢測公司Pangram進行技術審計和評論，指出其檢測器在混合作者文本中準確率大幅下降，且公司傾向於宣揚最佳情況下的可靠性，可能導致誤判和“獵巫”現象。文章強調個體誤報率差異、證據不可偽造性以及公司激勵機制問題。
AI文本檢測技術在打擊虛假信息方面被寄予厚望，但本文作者Ethan Smith通過對領先服務商Pangram的技術審計指出，這項技術可能並未準備好承擔“真相仲裁者”的角色。
Pangram的檢測器在處理純人類或純AI生成的文本時，誤報率可低至萬分之一。然而，當文本涉及混合創作——例如人類撰寫後經AI潤色或修改時，準確率顯著下降。根據EditLens的報告，僅一次AI編輯就可能導致約15%的實例仍被歸類為完全人類，而另有約6.5%被誤判為完全AI。這意味着在常見的工作流程中，用户可能毫無防備地遭到誤判。
更棘手的是，誤報率並非均勻分佈。詩歌等文體天生更易觸發警報，頻率可達1/200；而不同寫作者的風格差異可能導致其個人誤報率在百萬分之一到百分之一之間變化。那些擅長簡練、結構化表達的人，可能無意中更接近AI的語言模式，從而承受不成比例的風險。Pangram雖然減少了針對非英語母語者的偏見，但當今使用LLM學習英語的寫作者可能面臨新挑戰。
除了技術侷限，文章還尖鋭地批評了Pangram的市場定位。公司的社交媒體賬號和員工頻頻公開掃描並指責網絡文章為AI生成，這種行為實際上以“免費營銷”換取了檢測結果的過度肯定。在證據難以否認（如無日誌記錄時）的情況下，指控往往演變為“作者的話”和“檢測器判決”之間的僵局，類似於測謊儀在法庭上的爭議。作者認為，這種缺乏可驗證性的“證據”可能引發新的信任危機。
文章呼籲更透明的評估體系：檢測器應清晰標註文本類別（如混合文本）對應的預期誤報率，而非僅展示整體最優數字。基準測試也需納入真實世界的多樣場景，而非侷限於實驗室條件。最終，AI文本檢測的應用必須輔以對個體差異和誤判風險的清醒認知，否則可能適得其反，助長而非阻止AI生成內容氾濫。