美國面臨著一個“萬能句”問題

近期，美國出現了一連串引人注目的指控：有人被指使用AI生成文字冒充自己創作。這些指控的起點幾乎都是同一個工具——Pangram。今年3月，一家大型出版社在預定發行日前幾天撤下一部恐怖小說，部分原因就是Pangram識別出文本由AI生成。此外，人們利用Pangram指出《紐約時報》等主流報紙的文章、多個獲獎短篇小說，甚至教皇利奧十四世關於AI危險的通諭中都有AI生成的痕跡。越來越多大學和科學協會也開始用它審查學生作業和研究論文。隨著對AI寫作的恐慌加劇，Pangram站在了風口浪尖。

幾年前，即時可靠地判斷文本是否由AI編寫似乎還遙不可及。2023年，檢測工具ZeroGPT竟將美國憲法判定為AI生成；同年，OpenAI因“準確率低”放棄了自家AI檢測器。而當時ChatGPT的寫作質量遠不如現在。但最近檢測工具進步顯著，Pangram尤其脫穎而出，成為黃金標準：貼上文本，它就能評估哪些部分是“AI生成”、“AI輔助”或“人工編寫”。

然而，一個基本可靠的AI檢測器可能比完全不可靠的更危險。Pangram正在積累毀滅聲譽和職業生涯的力量，但它確實會犯錯，程度可能超出當前認知。這樣一來，AI指控很可能迅速演變成一場獵巫行動。

Pangram聲稱其演算法準確率極高，錯誤地將文本識別為AI輸出的機率僅萬分之一。CEO Max Spero表示：“說某物是AI生成，責任重大，我們只會在極其確信時才會這樣做。”幾項獨立分析也證實了它的優異表現。芝加哥大學的一篇論文發現，在大約3000個500-1000字的樣本中，Pangram幾乎沒有誤報。

但Pangram保證文本由人類書寫的能力則較弱。Spero指出，假陰性率（錯誤地將AI文本標記為人工）接近七十分之一。

問題部分在於Pangram與主要AI實驗室的軍備競賽，這些實驗室致力於讓ChatGPT和Claude的寫作聽起來儘可能自然和人性化。同時，Pangram還要應對AI“人性化”工具——專門用於偽裝AI文本的程式。Reddit使用者熱烈推薦一種名為Walter Writes AI的工具。我親自測試：讓ChatGPT和Claude寫簡短文章，再貼上進該工具。它做一些無關痛癢的改寫，替換笨拙的過渡，引入語法怪異。例如，ChatGPT的“這些數字已經大到無法忽視”變成了“這些使用資料的龐大規模已經不容忽視”。當我將Walter Writes AI的輸出貼上進Pangram時，它無一例外地將二次加工的AI文章判定為人工編寫。

換言之，Pangram只能提供有限洞見。紐約市一所公立高中的老師告訴我，他把自己學生的論文透過Pangram檢測，結果顯示“100%人工”，但他不相信。他了解學生的能力，尤其是那些有AI作弊前科的，有充分理由懷疑Pangram。但反過來，僅憑間接證據指控學生未經允許使用AI，風險極高：學生要麼不及格，要麼被證明清白後心生怨恨。“風險太高，”老師說，“但我們評估AI生成內容的方法還很不成型。”

更復雜的是Pangram等工具設計的不透明性。模型透過海量人工與AI示例訓練而成——比如雜誌上的人工書評，以及ChatGPT生成的相同書評——直到能區分二者。這類似於用數百萬張貓狗圖片訓練影像識別演算法。Pangram無法指出具體證據或模式來支援其判斷。Spero承認演算法內部機制“幾乎不可解釋”，儘管他希望讓“AI輔助”標籤更細緻，但“仍不確定如何實現”。在對過度依賴AI聊天機器人的擔憂中，我們可能又陷入對另一個黑箱演算法的依賴。

Spero表示，Pangram“絕不應是最終裁決者”，而應是更深入調查的起點，公司會調查每個報告的錯誤。他還指出，煙霧探測器、TSA掃描器等我們依賴的檢測技術都有基準錯誤率。從某種程度來說，最大的問題不在於技術本身，而在於它們試圖檢測的物件。

隨著AI寫作指控不斷升級，人們對Pangram的依賴只會增加。它已連線到Canvas教育平臺，教師可用來掃描學生作業。美國有超過1000萬高中生和2000萬大學生，每人每年提交數十份書面作業。在此規模下，即使萬分之一錯誤率，Pangram也會產生大量誤判。

更糟的是，Pangram能否保持甚至提升當前能力也不確定。隨著聊天機器人和AI人性化器調整，AI檢測“會在我們無法預測的時間以無法預測的方式起伏”，NYU神經科學家Tim Requarth說。即使學校、出版商、科研機構更依賴AI檢測，任何第三方評估都滯後數月，在加速發展的AI世界中近乎過時。基於AI檢測可靠性制定規則，如同在退潮時建沙堡。

這一切似乎正釀成災難。AI檢測的模糊性為發起或否認指控留下了空間。本月，科技記者Taylor Lorenz在X上被指控用AI為《名利場》寫稿，她堅決否認。Spero調查後發現Pangram出錯。“感謝編輯歷史記錄，”Lorenz說。這次經歷加劇了她對這類指控的擔憂：“我非常偏執。”

“AI生成”和“AI輔助”容易被有意或無意混淆。《華爾街日報》編輯James Taranto最近稱Pangram為“誹謗機器”，聲稱它錯誤標記了該報三篇專欄為AI生成；其中兩位作者承認使用AI修改部分工作，Taranto認為將其描述為“AI生成”是不準確且不公平的。最初用Pangram分析教皇通諭的人指出，只有部分段落看起來像AI生成或輔助，或許不是教皇本人而是高階梵蒂岡官員使用了AI。這並未阻止諸如“教皇用AI撰寫關於AI危險的通諭？”之類的標題。

這一切讓人想起另一場關於作家不當行為的道德憤怒：2023-24年的剽竊戰爭，當時保守派活動人士動員指控知名學者和大學領導剽竊，最終導致哈佛大學前校長Claudine Gay辭職。許多指控是虛假的，很可能基於剽竊檢測演算法，正如我同事Ian Bogost當時判斷的那樣，這些演算法相當無用。即將到來的AI檢測戰爭可能更具爭議。

明確地說，Pangram並非無用。但問題正在於此：它的結論太容易被曲解和爭議，尤其是在沒人真正認同哪些AI使用合乎倫理的情況下。就像聊天機器人一樣，AI檢測工具已經足夠有效以供廣泛使用，但還不足以完全信任。這樣看來，Pangram和其他檢測器正是它們所搜尋的AI產品的映象。