跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

When2Speak:面向多轮对话中时序参与和轮换的大语言模型数据集

文章摘要

大语言模型(LLM)在生成上下文相关回复方面表现出色,但在多轮对话中,何时发言与说什么同样重要。本文提出When2Speak,一个基于真实世界的合成数据集及四阶段生成流水线,用于学习群体交互中的干预时机。该数据集包含超过21.5万个示例,源自1.6万场2至6人对话,涵盖多种风格、语气和参与者动态。监督微调(SFT)使4B+参数模型的平均Macro F1提升60%,但模型仍过于保守,平均错过干预率(MIR)为0.50。通过应用非对称奖励强化学习,MIR降至0.186–0.218,召回率从0.479提升至0.78–0.81。研究表明,时序参与是一个可训练的语言智能维度。

来源arXiv Computational Linguistics作者: Vihaan Nama, Shreya Mendi, Zian Ye, Brinnae Bent
When2Speak:面向多轮对话中时序参与和轮换的大语言模型数据集
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

大语言模型(LLM)在生成上下文相关的回复方面已经取得了显著进步,但在多轮对话场景中,何时发言与说什么同样重要。当LLM在每个可能的时机都回复时,会导致过度打断和对话连贯性下降。为了解决这一问题,研究人员提出了When2Speak数据集及其配套的四阶段生成流水线,旨在训练模型掌握群体交互中的发言时机。

When2Speak数据集包含超过21.5万个示例,这些示例源自1.6万场涉及2至6位参与者的对话。这些对话覆盖了多种风格、语气和参与者动态,并在每一轮明确建模“发言”(SPEAK)或“沉默”(SILENT)的决策。流水线结合了现实世界场景、结构化增强、受控转录合成以及可直接用于微调的监督信号,并且完全开源以支持可重复性和领域适应。

在多个模型家族上进行的实验表明,在When2Speak上进行监督微调(SFT)显著优于零样本基线。例如,在参数量超过40亿的模型上,平均Macro F1提升了60%,最大提升达到120%。然而,SFT训练的模型仍然系统性过于保守,错过了近一半的有根据干预。这一现象通过错过干预率(MIR)得到量化——平均MIR为0.50,且即使在更大模型上仍然存在。

为了克服这一局限,研究者应用了非对称奖励强化学习(RL)。该方法将MIR降低至0.186–0.218,并将召回率从0.479提升至0.78–0.81。这表明,通过有针对性的训练,LLM能够学会更自然的参与时机。

When2Speak的研究确立了时序参与作为对话智能的一个独立且可训练维度的重要性。基于真实的合成数据为增强LLM在多轮交互中的自然性和适当性提供了有效且可扩展的路径。该数据集和流水线现已开放获取,支持社区进一步探索和应用。

展开要点与分析

文章情报

工程师进阶

要点

  • When2Speak数据集包含21.5万+示例,源自1.6万场2-6人对话,专门建模“发言/沉默”决策。
  • 监督微调(SFT)在When2Speak上使4B+参数模型的平均Macro F1提升60%,但MIR仍达0.50。
  • 通过非对称奖励强化学习,MIR降低至0.186–0.218,召回率提升至0.78–0.81。
  • 该工作表明时序参与是可训练的对话智能维度,合成数据为LLM参与多轮对话提供了可扩展的路径。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。