为什么将任务委托给LLM会导致文档损坏？

最新研究揭示，将文档编辑等任务委托给大型语言模型（LLM）时，模型可能会在交互过程中默默损坏文档内容。研究构建了DELEGATE-52基准测试，发现即使最先进的模型在20次交互后也会导致25%的内容损坏，原因包括错误累积、弱模型删除与强模型幻觉、上下文过载以及领域熟悉度不足。代理式AI工具对此问题帮助有限。