DuplexGen: 人間とAIのターンテイキング対話の適応的合成
DuplexGenは、LLMの予測を少数のスロットレベルの人間の選好アノテーションで較正し、シナリオ適応型のターンテイキング対話を生成するフレームワークです。6つの協調・競争タスクにおいて、非較正プロンプトや汎用的な人間間データよりも人間の選好に大幅に近づき、人間の較正が鍵であることを示しています。
全二重対話において、ターンテイキングは中心的な要素である。どのターンテイキング行動が適切かはシナリオによって異なるが、現在のモデルは文脈に関わらず単一の規範を適用している。この限界は訓練データに起因する。人間同士の音声コーパスは自然なタイミング現象を捉えるが、役割の基盤やシナリオ固有の規範をほとんど提供しない。一方、ヒューリスティックまたはプロンプトによる合成手法は、人間の選好に基づかないままターンテイキング行動を注入する。
本研究では、DuplexGenを提案する。これは、LLMの予測を少数のスロットレベルの人間の選好アノテーションで較正することにより、シナリオ適応型のターンテイキング対話を生成するフレームワークである。DuplexGenは、情報収集、協調作業、競争的交渉など6つの協調・競争タスクで評価された。実験の結果、人間のターンテイキング選好はタスクによって系統的に異なり、例えば協調タスクでは均等な発話交替が好まれ、競争タスクではより長い発話や割り込みが許容される傾向があった。DuplexGenは、タスクごとに約50～100個のスロットレベルの選好アノテーションを収集し、これらを用いてLLMの出力を較正することで、生成された対話のターンテイキング行動が各シナリオの人間の選好とよく一致するようにした。
非較正のプロンプトや汎用的な人間間データのみで訓練した場合と比較して、DuplexGenを用いて生成されたデータは人間の選好と大幅に一致した。さらに、DuplexGen生成データで訓練された全二重モデルは、特徴的で人間が好むターンテイキング行動を示し、例えば適切なタイミングでのフィードバックや待ち行動が見られた。これらの結果は、コーパス規模やプロンプト設計だけでなく、人間による較正がシナリオ固有のターンテイキング合成を可能にすることを示している。