跳到主要内容
AI News HubLIVE
更多
仅摘要

OpenAI发布LifeSciBench:750项任务的基准测试,用专家编写的评分标准评估AI模型在真实生命科学研究中的表现

OpenAI推出LifeSciBench基准测试,包含750项由173位博士科学家编写的任务,涵盖7个工作流程和7个生物学领域。该基准使用19,020条评分标准评估AI的推理和决策能力,而非简单的事实回忆。最佳模型GPT-Rosalind仅通过36.1%的任务,表明仍有巨大改进空间。

来源MarkTechPost作者: Michal Sutter
OpenAI发布LifeSciBench:750项任务的基准测试,用专家编写的评分标准评估AI模型在真实生命科学研究中的表现
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明

本文仅提供摘要

根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。

展开要点与分析

文章情报

工程师进阶

要点

  • LifeSciBench包含750项专家编写的任务,涵盖7个生物工作流程和7个领域。
  • 采用19,020条细粒度评分标准,评估AI的推理和决策过程。
  • GPT-Rosalind表现最佳,任务通过率为36.1%,但仍有超过170项任务无一模型通过。
  • 模型在处理人工制品(如图表、序列)和精确输出方面表现较弱。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。