為什麼將任務委託給LLM會導致文件損壞？
最新研究揭示，將文件編輯等任務委託給大型語言模型（LLM）時，模型可能會在互動過程中默默損壞文件內容。研究構建了DELEGATE-52基準測試，發現即使最先進的模型在20次互動後也會導致25%的內容損壞，原因包括錯誤累積、弱模型刪除與強模型幻覺、上下文過載以及領域熟悉度不足。代理式AI工具對此問題幫助有限。
我們正在進入一個AI新時代，互動變為任務委託。使用者不僅與AI聊天，還委託其完成從編輯原始碼到格式化專業文本甚至管理賬本的長期任務。因此，他們以前所未有的信任度依賴AI系統在多輪互動中維護文件等檔案的完整性。
然而，一項最新研究揭示了一個問題：將任務委託給大型語言模型（LLM）時，它可能默默損壞你交給它的文件。為了理解這一問題，科學家們構建了一個名為“DELEGATE-52”的嚴格評估框架。該基準涵蓋52個專業領域，從法律文本到Python程式設計、音樂符號或晶體學。
研究人員使用一種基於“往返”方法的智慧模擬，測試了19種不同的LLM：要求AI執行特定編輯，然後執行完全相反的指令來撤銷編輯。在理想情況下，模型應返回原始文件，完全完好。現實檢驗：即使是最智慧的模型，如Gemini Pro、Claude Opus和GPT-5，在20次互動後也能損壞高達25%的原始文件內容；較弱的模型則接近50%。
研究人員揭示了文件損壞的若干原因。首先，錯誤會累積：就像傳統的“傳話遊戲”，LLM的小錯誤會悄悄積累，變得險惡地顯著。一次編輯可能增加一些區域性錯誤，但一系列複雜編輯會長期滾雪球，導致文件急劇退化。
其次，弱模型傾向於刪除內容，而智慧模型則會產生幻覺。研究中突出了不同模型失敗方式的顯著轉變：較弱模型傾向於刪除，意外地丟棄內容，經過多次互動後由於文件內容明顯縮小而變得明顯。而在前沿LLM中，根本問題不是刪除而是損壞：它們保持文件的整體“外觀和感覺”，甚至維持幾乎完整的字數，但悄悄打錯、修改或替換事實資訊為聽起來合理的虛構。諷刺的是：模型越智慧，檢測其損壞行為就越困難，因為最終輸出乍看之下仍然合法。
第三，上下文過載和干擾附件：在混亂條件下，即大量上下文資訊或過多附加文件，模型難以保持資訊結構完整。隨著文件大小增加或更多“干擾檔案”被包含在提示上下文中，退化的嚴重性和影響急劇上升，模型不再堅持源文本，而是更容易依靠預測邏輯來填補空白。
最後，領域熟悉度也很重要：並非所有檔案在委託任務中都會退化到相同程度。根據研究，LLM在高度結構化的程式設計領域（如Python原始碼）表現良好。當被推向純自然語言任務或小眾空間格式時，它們很快失去保持檔案完全完整所需的嚴格內部邏輯感。
即使LLM被升級為擁有代理工具——如執行程式碼或直接讀寫檔案的能力——委託導致的文件損壞和退化問題並未消失。事實上，代理附加元件幾乎無法阻止發生在LLM底層Transformer架構核心的問題。重新思考如何驗證長期AI任務是必要的。在此之前，將LLM作為完全無監督的文件編輯器仍然是一種高風險賭博。