マルチモーダルモデルは、人間や他の人工エージェントと協力してタスクを解決するためにますます活用されている。既存のベンチマークは、これらのモデルが協調に必要な構成能力の多くを備えていることを示しているが、時間的プレッシャー、情報の非対称性、不完全なコミュニケーションといった協調時に同時に生じる条件は、通常は個別に研究されている。そこで研究者らは、協力型ビデオゲーム「Keep Talking and Nobody Explodes」を基盤としたベンチマークGPTNTを導入した。
GPTNTでは、2つのエージェントがリアルタイムのカウントダウンに直面しながら、手続き的に生成された爆弾パズルを解除するために協調しなければならない。一方のエージェントは爆弾を見て操作できるが解除手順を持たず、もう一方は手順を持っているが爆弾を見ることも操作することもできない。どちらのエージェントも単独では成功できず、効果的かつ効率的なコミュニケーションが成功の鍵となる。ターン制の代理タスクとは異なり、GPTNTはエージェントに非同期の行動とリアルタイムのコミュニケーションを要求する。
このベンチマークは、協調能力を記憶された解決策への依存から分離するように設計されている。マニュアル、パートナー、またはその両方を隠すことで、モデルがその場で導き出す内容と既に知っている内容を分離できる。この制御された設定により、モデルの真の協調知能をより明確に評価できる。
実験の結果、GPTNTは最先端システムにとって大きな課題であることが示された。テストした閉源および開源モデルのいずれも、リアルタイム条件下で爆弾を1つも解除できなかったが、人間のプレイヤーはこの基準をクリアできる。制御実験を通じて、研究者らは状態追跡、時間的プレッシャー下での効率的な行動、曖昧性の処理、エラー回復におけるモデルの重大な弱点を特定した。これらの弱点は、従来のベンチマークではしばしば覆い隠されたり、個別に研究されたりしてきた。
GPTNTは、現在の評価では測定されていない協調パフォーマンスのベンチマークとして公開される。実際のゲーム上で動作するため、GPTNTは手続き的生成の恩恵を受け、活発なMODコミュニティを引き継ぐことで、モデルの進歩に合わせてベンチマークが進化し続けることが可能になる。一度解決されたら引退するのではなく、継続的に更新できる点が特徴である。プロジェクトのウェブサイトとコードは論文で提供されており、コミュニティによる利用と拡張が可能である。