跳到主要内容
AI News HubLIVE
更多
仅摘要

Claude 通过率不到4%,SaaS-Bench撕碎了Computer-Use的「全自动办公」幻想

UniPat AI 发布 SaaS-Bench 评测,Claude 等主流大模型在真实办公任务中完全通过率最高仅 3.8%,AI 全自动办公远未落地。

来源量子位作者: 量子位的朋友们
Claude 通过率不到4%,SaaS-Bench撕碎了Computer-Use的「全自动办公」幻想
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明

本文仅提供摘要

根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。

展开要点与分析

文章情报

工程师进阶

要点

  • SaaS-Bench 评测显示,最强模型 Claude Opus 4.7 完全通过率仅 3.8%。
  • 93.4% 的任务跨越至少两个应用,97.3% 的文本任务操作步数超过 100 步。
  • 四种结构性失败模式:长任务准确率下降、单步错误连锁反应、缺乏验证闭环、执行结果高度不稳定。
  • 当前 Agent 范式在长程任务中存在根本性局限,软件需为 Agent 重新设计。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。

Claude 通过率不到4%,SaaS-Bench撕碎了Computer-Use的「全自动办公」幻想 | AI News Hub