GPTNT: マルチモーダルエージェントのリアルタイム協調ベンチマーク『Keep Talking and Nobody Explodes』
研究者らは、協力ゲーム『Keep Talking and Nobody Explodes』を基にしたベンチマークGPTNTを提案し、マルチモーダルAIエージェントのリアルタイム協調を評価する。テストの結果、最先端モデルはいずれもリアルタイムでの爆弾解除に失敗し、人間プレイヤーは成功した。このベンチマークは、指示マニュアルとパートナーへのアクセスを制御することで協調を記憶への依存から分離し、状態追跡、時間制約下での効率的な行動、曖昧さの処理、エラー回復における重要な弱点を明らかにした。
マルチモーダルモデルは、人間や他の人工エージェントとの協調タスクを解決するためにますます導入されています。しかし、既存のベンチマークは、時間圧力、情報非対称性、不完全なコミュニケーションなど、協調に伴う条件を個別に研究することがほとんどです。これらの能力を総合的に評価するため、研究者らは協力ビデオゲーム『Keep Talking and Nobody Explodes』に基づくベンチマークGPTNTを提案しました。
このゲームでは、2つのエージェントが協調して、リアルタイムのカウントダウンの中でプログラム生成された爆弾パズルを解除する必要があります。一方のエージェントは爆弾を見て操作できますが、解除指示を持っていません。もう一方のエージェントは指示を持っていますが、爆弾を見たり操作したりできません。どちらのエージェントも単独では成功できません。成功には効果的かつ効率的なコミュニケーションが必要です。ターンベースの代理タスクとは異なり、GPTNTではエージェントが非同期に行動し、リアルタイムで通信する必要があります。GPTNTは、協調を記憶された解決策への依存から分離するように設計されています。指示マニュアル、パートナー、またはその両方を隠すことで、モデルがその場で導き出すものと既に知っているものを分離します。
研究結果は、GPTNTが最先端のシステムにとって大きな課題であることを示しています。テストされたクローズドおよびオープンソースモデルはいずれも、リアルタイムで1つの爆弾も解除できませんでしたが、人間のプレイヤーはこの壁をクリアしました。制御実験を通じて、研究者らは状態追跡、時間圧力下での効率的な行動、曖昧さの処理、エラー回復における重要な弱点を特定しました。例えば、モデルは爆弾の現在の状態を正確に追跡できず、誤った次の行動をとることがよくあります。時間的プレッシャーの下では、行動が遅かったり非効率的であったりします。曖昧な記述に対しては、明確化を効果的に要求できません。そして、一度エラーを起こすと、そこから回復するのが難しく、連鎖的な失敗に至ることが多いです。
GPTNTは、現在の評価では測定されていない協調性能のベンチマークとして公開されています。実際のゲーム上で動作するため、プログラム生成の恩恵を受け、活発なModコミュニティを継承しており、モデルの改善に応じてベンチマークが進化し、一度解決されて廃止されることがないようになっています。この研究の意義は、将来のマルチモーダル協調エージェントの発展に対して、より挑戦的で生態学的に有効なテストプラットフォームを提供することにあります。