全二重音声エージェントは、単にユーザーの発話に返答するだけでなく、会話の流れの中で「いつ聞くべきか」「いつ相槌を打つべきか」「いつ割り込むべきか」「重なり発話をどう扱うか」「いつ発言権を握るか、あるいは譲るか」を絶えず判断する必要がある。こうした判断は会話の自然さを左右するが、既存のベンチマークの多くは、ターン管理に関する明示的な指示に従えるかを中心に評価してきた。一方、実際のシステムでは、開発者がエージェントを役割やペルソナで設定し、適切な会話行動をモデル側で推論させるケースが多い。つまり「ペルソナから振る舞いを推定する能力」を体系的に評価する仕組みが不足している。
この課題に取り組むため、Puneet Mathur氏らはDuplexSpeechBench-IFEval（DSB-IFEval）を提案した。このベンチマークは、8種類の多様なアシスタント役割にわたる1,038のテストケースで構成され、指示追従を評価するための5つの条件プロトコルを用意している。具体的には、デフォルト動作、明示的な行動指示、ペルソナから暗示される行動、ペルソナとルールの組み合わせ、そして互いに矛盾する指示である。評価指標としては、リアルタイムの発話権管理を決定的に測定するInstruction Adherence Score（IAS）と、LLMが判定するPersona Adherence Score（PAS）を用いて、ペルソナに一貫した応答内容を評価する。
6種類のリアルタイム音声システムを対象とした実験では、アーキテクチャに依存したトレードオフが観察された。F-ActorとPersonaPlexのような全二重モデルは、会話行動が明示されているか、ペルソナから推論しなければならないかに敏感である。ペルソナのみの条件では、指示追従率がそれぞれ9.7%と4.5%低下した。対照的に、GPT-Realtime、MiniCPM-o、Fun-Audio-Chatはペルソナ一貫性のある応答を強く維持できるものの、発話権管理の振る舞いは明示指示とペルソナのみの条件でほとんど変化せず、いくつかの先制的行動にも制約があった。さらに、システムがペルソナに沿った競合指示には従える場合でも、安全性に関する衝突が生じると、それを上書きすることが難しいことも分かった。
この結果は、役割から暗黙に示される行動を推定すること、その行動を会話の適切なタイミングで実行すること、競合する指示を解決することは、それぞれ別々の難しさを持つ課題であることを示している。DSB-IFEvalは、これらの能力を切り分けて測定する基盤を提供しており、より自然で制御可能な全二重音声エージェントの実現に向けた今後の研究を後押しするものと言える。