本文にスキップ
AI News HubLIVE
要約のみ

マイクロソフト研究者、AIモデルとエージェントは長期タスクに対応できないと指摘

マイクロソフトの研究者による新たな研究で、大規模言語モデル(LLM)はマルチステップのワークフローで重大なエラーを引き起こし、最先端モデルでも20回の委譲操作で平均25%の文書内容を失うことが判明しました。DELEGATE-52ベンチマーク(52領域)では、Pythonプログラミングのみが「準備完了」基準に達しました。エージェント用ツールはむしろ性能を悪化させました。

ソースHacker News AI著者: beardyw
マイクロソフト研究者、AIモデルとエージェントは長期タスクに対応できないと指摘
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内

要約のみ

配信元のコンテンツ権限に基づき、編集要約、要点、原文へのリンクのみを提供します。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • LLMは長期タスクで文書内容を平均50%も劣化させる。
  • DELEGATE-52ベンチマークで「準備完了」と評価されたのはPythonプログラミングのみ。
  • エージェントツールを使用しても性能は改善されず、平均6%の追加劣化が生じた。
  • 壊滅的な劣化(スコア80%以下)はモデル/領域の組み合わせの80%以上で発生。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。