大規模言語モデル（LLM）は文脈に適した応答を生成する能力に優れていますが、マルチパーティ会話においては「いつ発言すべきか」という判断が「何を言うか」と同様に重要です。各ターンで単純に応答すると、過剰な割り込みが発生し、会話の一貫性が損なわれます。この問題に対処するため、研究チームはWhen2Speakデータセットと、グループインタラクションにおける介入タイミングを学習するための4段階生成パイプラインを提案しました。
When2Speakデータセットは、2～6人の話者による1万6千件の会話から派生した21万5千以上のサンプルで構成されています。これらの会話は多様なスタイル、トーン、参加者ダイナミクスをカバーし、各ターンで「発言」か「沈黙」の判断が明示的にモデル化されています。パイプラインは、現実世界の基盤、構造化拡張、制御されたトランスクリプト合成、ファインチューニング可能な監視信号を組み合わせており、完全にオープンソース化されているため、再現性やドメイン固有の会話規範への適応が可能です。
複数のモデルファミリーでの実験では、When2Speakでの教師ありファインチューニング（SFT）がゼロショットベースラインを大幅に上回りました。例えば、40億パラメータ以上のモデルでは平均Macro F1が60%向上し、最大で120%の改善が見られました。しかし、SFTで訓練されたモデルは依然として系統的に過度に保守的であり、有効な介入の約半数を見逃していました。この問題は介入機会損失率（MIR）で定量化され、平均MIRは0.50であり、より大規模なモデルでも同様でした。
この制限を克服するために、研究チームは非対称報酬を用いた強化学習（RL）を適用しました。その結果、MIRは0.186～0.218に低減し、再現率は0.479から0.78～0.81に向上しました。これにより、ターゲットを絞った訓練を通じてLLMがより自然なタイミングで参加できるようになることが示されました。
When2Speakの研究は、タイミング参加が会話知能の独立した訓練可能な次元であることを確立しました。現実世界に基づく合成データは、LLMがマルチパーティインタラクションにより自然かつ適切に参加できるようにするための効果的でスケーラブルな経路を提供します。このデータセットとパイプラインは現在公開されており、コミュニティによるさらなる探求と応用が可能です。