OpenAI、LifeSciBenchを公開：750タスクのベンチマークでAIモデルを実際の生命科学研究で評価、専門家作成のルーブリックを使用

OpenAIが発表したLifeSciBenchは、173人のPhD科学者が作成した750タスク、7つのワークフロー、7つの生物学領域にわたって、フロンティアAIが実際の生命科学研究を処理できるかを評価する。19,020のルーブリック基準を使用し、単なる想起ではなく推論と判断を採点する。最良モデルGPT-Rosalindでも通過率は36.1%にとどまり、人工物、正確な出力、運用判断には大きな改善余地がある。