跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

When2Speak:面向多輪對話中時序參與和輪換的大語言模型數據集

文章摘要

大語言模型(LLM)在生成上下文相關回複方面表現出色,但在多輪對話中,何時發言與説什麼同樣重要。本文提出When2Speak,一個基於真實世界的合成數據集及四階段生成流水線,用於學習羣體交互中的干預時機。該數據集包含超過21.5萬個示例,源自1.6萬場2至6人對話,涵蓋多種風格、語氣和參與者動態。監督微調(SFT)使4B+參數模型的平均Macro F1提升60%,但模型仍過於保守,平均錯過干預率(MIR)為0.50。通過應用非對稱獎勵強化學習,MIR降至0.186–0.218,召回率從0.479提升至0.78–0.81。研究表明,時序參與是一個可訓練的語言智能維度。

來源arXiv Computational Linguistics作者: Vihaan Nama, Shreya Mendi, Zian Ye, Brinnae Bent
When2Speak:面向多輪對話中時序參與和輪換的大語言模型數據集
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

大語言模型(LLM)在生成上下文相關的回覆方面已經取得了顯著進步,但在多輪對話場景中,何時發言與説什麼同樣重要。當LLM在每個可能的時機都回復時,會導致過度打斷和對話連貫性下降。為了解決這一問題,研究人員提出了When2Speak數據集及其配套的四階段生成流水線,旨在訓練模型掌握羣體交互中的發言時機。

When2Speak數據集包含超過21.5萬個示例,這些示例源自1.6萬場涉及2至6位參與者的對話。這些對話覆蓋了多種風格、語氣和參與者動態,並在每一輪明確建模“發言”(SPEAK)或“沉默”(SILENT)的決策。流水線結合了現實世界場景、結構化增強、受控轉錄合成以及可直接用於微調的監督信號,並且完全開源以支持可重複性和領域適應。

在多個模型家族上進行的實驗表明,在When2Speak上進行監督微調(SFT)顯著優於零樣本基線。例如,在參數量超過40億的模型上,平均Macro F1提升了60%,最大提升達到120%。然而,SFT訓練的模型仍然系統性過於保守,錯過了近一半的有根據干預。這一現象通過錯過干預率(MIR)得到量化——平均MIR為0.50,且即使在更大模型上仍然存在。

為了克服這一侷限,研究者應用了非對稱獎勵強化學習(RL)。該方法將MIR降低至0.186–0.218,並將召回率從0.479提升至0.78–0.81。這表明,通過有針對性的訓練,LLM能夠學會更自然的參與時機。

When2Speak的研究確立了時序參與作為對話智能的一個獨立且可訓練維度的重要性。基於真實的合成數據為增強LLM在多輪交互中的自然性和適當性提供了有效且可擴展的路徑。該數據集和流水線現已開放獲取,支持社區進一步探索和應用。

展開要點與分析

文章情報

工程師進階

要點

  • When2Speak數據集包含21.5萬+示例,源自1.6萬場2-6人對話,專門建模“發言/沉默”決策。
  • 監督微調(SFT)在When2Speak上使4B+參數模型的平均Macro F1提升60%,但MIR仍達0.50。
  • 通過非對稱獎勵強化學習,MIR降低至0.186–0.218,召回率提升至0.78–0.81。
  • 該工作表明時序參與是可訓練的對話智能維度,合成數據為LLM參與多輪對話提供了可擴展的路徑。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。