跳到主要內容
AI News HubLIVE
更多
僅摘要

Claude 通過率不到4%，SaaS-Bench撕碎了Computer-Use的「全自動辦公」幻想

UniPat AI 發佈 SaaS-Bench 評測，Claude 等主流大模型在真實辦公任務中完全通過率最高僅 3.8%，AI 全自動辦公遠未落地。

來源量子位作者: 量子位的朋友们
Claude 通過率不到4%，SaaS-Bench撕碎了Computer-Use的「全自動辦公」幻想
報告錯誤

更正渠道尚未開通，可先複製下方文章資訊留存。

查看更正說明

本文僅提供摘要

根據來源內容權限，本站僅提供編輯摘要、要點和原文連結。

展開要點與分析

文章情報

工程師進階

要點

  • SaaS-Bench 評測顯示，最強模型 Claude Opus 4.7 完全通過率僅 3.8%。
  • 93.4% 的任務跨越至少兩個應用，97.3% 的文本任務操作步數超過 100 步。
  • 四種結構性失敗模式：長任務準確率下降、單步錯誤連鎖反應、缺乏驗證閉環、執行結果高度不穩定。
  • 當前 Agent 範式在長程任務中存在根本性侷限，軟件需為 Agent 重新設計。

要點與分析由自動化流程生成，可能有誤，請結合原始來源核實。