跳到主要内容
AI News HubLIVE
更多
仅摘要

微软研究人员发现AI模型和智能体无法处理长时间运行的任务

微软研究人员进行的一项新研究表明,当前的大语言模型(LLM)在执行多步骤工作流时会产生严重错误,即使是前沿模型在20次交互中平均丢失25%的文档内容。研究提出了DELEGATE-52基准测试,覆盖52个专业领域,发现只有Python编程领域达到“就绪”阈值。使用工具以智能体方式运行模型反而导致性能更差。

来源Hacker News AI作者: beardyw
微软研究人员发现AI模型和智能体无法处理长时间运行的任务
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明

本文仅提供摘要

根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。

展开要点与分析

文章情报

工程师进阶

要点

  • LLM在执行长期任务时会显著损坏文档,平均内容丢失达50%。
  • DELEGATE-52基准测试中,仅有Python编程领域达到98%的“就绪”标准。
  • 智能体工具未能改善性能,反而带来额外6%的退化。
  • 灾难性损坏(评分≤80%)出现在超过80%的模型/领域组合中。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。