為什麼將任務委託給LLM會導致文檔損壞？
最新研究揭示，將文檔編輯等任務委託給大型語言模型（LLM）時，模型可能會在交互過程中默默損壞文檔內容。研究構建了DELEGATE-52基準測試，發現即使最先進的模型在20次交互後也會導致25%的內容損壞，原因包括錯誤累積、弱模型刪除與強模型幻覺、上下文過載以及領域熟悉度不足。代理式AI工具對此問題幫助有限。
我們正在進入一個AI新時代，互動變為任務委託。用户不僅與AI聊天，還委託其完成從編輯源代碼到格式化專業文本甚至管理賬本的長期任務。因此，他們以前所未有的信任度依賴AI系統在多輪交互中維護文檔等文件的完整性。
然而，一項最新研究揭示了一個問題：將任務委託給大型語言模型（LLM）時，它可能默默損壞你交給它的文檔。為了理解這一問題，科學家們構建了一個名為“DELEGATE-52”的嚴格評估框架。該基準涵蓋52個專業領域，從法律文本到Python編程、音樂符號或晶體學。
研究人員使用一種基於“往返”方法的智能模擬，測試了19種不同的LLM：要求AI執行特定編輯，然後執行完全相反的指令來撤銷編輯。在理想情況下，模型應返回原始文檔，完全完好。現實檢驗：即使是最智能的模型，如Gemini Pro、Claude Opus和GPT-5，在20次交互後也能損壞高達25%的原始文檔內容；較弱的模型則接近50%。
研究人員揭示了文檔損壞的若干原因。首先，錯誤會累積：就像傳統的“傳話遊戲”，LLM的小錯誤會悄悄積累，變得險惡地顯著。一次編輯可能增加一些局部錯誤，但一系列複雜編輯會長期滾雪球，導致文檔急劇退化。
其次，弱模型傾向於刪除內容，而智能模型則會產生幻覺。研究中突出了不同模型失敗方式的顯著轉變：較弱模型傾向於刪除，意外地丟棄內容，經過多次交互後由於文檔內容明顯縮小而變得明顯。而在前沿LLM中，根本問題不是刪除而是損壞：它們保持文檔的整體“外觀和感覺”，甚至維持幾乎完整的字數，但悄悄打錯、修改或替換事實信息為聽起來合理的虛構。諷刺的是：模型越智能，檢測其損壞行為就越困難，因為最終輸出乍看之下仍然合法。
第三，上下文過載和干擾附件：在混亂條件下，即大量上下文信息或過多附加文檔，模型難以保持信息結構完整。隨着文檔大小增加或更多“干擾文件”被包含在提示上下文中，退化的嚴重性和影響急劇上升，模型不再堅持源文本，而是更容易依靠預測邏輯來填補空白。
最後，領域熟悉度也很重要：並非所有文件在委託任務中都會退化到相同程度。根據研究，LLM在高度結構化的編程領域（如Python源代碼）表現良好。當被推向純自然語言任務或小眾空間格式時，它們很快失去保持文件完全完整所需的嚴格內部邏輯感。
即使LLM被升級為擁有代理工具——如執行代碼或直接讀寫文件的能力——委託導致的文檔損壞和退化問題並未消失。事實上，代理附加組件幾乎無法阻止發生在LLM底層Transformer架構核心的問題。重新思考如何驗證長期AI任務是必要的。在此之前，將LLM作為完全無監督的文檔編輯器仍然是一種高風險賭博。