全雙工對話系統（如智慧語音助手和即時翻譯裝置）需要能夠像人類一樣自然地切換髮言權，即話輪轉換。然而，自動評估話輪轉換的自然性一直是一個難題。現有的評估方法要麼依賴昂貴且耗時的人工判斷，要麼使用針對特定行為（如重疊或沉默）的時序指標，這使得不同型別的時序失敗難以在一個統一框架下進行比較。為了解決這個問題，來自學術界的研究團隊提出了TurnNat，一個基於似然的自動評估框架，用於雙人對話中的話輪轉換自然性評估。
TurnNat的核心思想是利用一個因果預測模型，該模型在大量自然對話資料上訓練，能夠根據當前對話狀態預測未來兩位說話人的語音活動。透過計算實際觀察到的未來語音活動的負對數似然（NLL），系統可以量化時序的異常程度：如果實際的語音活動模式與模型預測的典型模式不符，NLL值就會偏高，表明話輪轉換可能不自然。具體來說，TurnNat首先從對話中提取話輪轉換邊界單元（TBU），這些單元對應於話語的開始和結束時刻。然後，它在每個TBU上計算幀級別的NLL，並聚合這些幀級別的分數，得到每個TBU的平均和尾部（即高異常）分數。最後，這些TBU分數被進一步聚合成一個對話級別的自然性評分，從而實現對整段對話的自動評估。
為了驗證TurnNat的有效性，研究團隊還構建了一個受控的擾動基準資料集。該資料集包含成對的自然對話片段和經過人工擾動（如插入不當的沉默或重疊）的片段，並且所有片段都經過了人工自然性判斷的驗證。實驗結果表明，TurnNat能夠成功識別出各種型別的異常話輪轉換擾動，包括不同時長和位置的時序失敗。這一框架為全雙工對話系統的評估提供了一個統一、自動化的工具，有望加速相關係統的開發和最佳化。