近年來，大型語言模型（LLM）被廣泛應用於從文本生成播客等長篇對話內容。這些系統雖然能生成流暢且引人入勝的敘述，但經常引入沒有依據的資訊。針對這一問題，本研究首次系統性地探討了文件播客生成中的忠實度問題。文件播客生成是指基於給定文件生成多說話人、多輪次的對話式音訊內容，模型必須在整個對話過程中嚴格保持對源文件的忠實，不能隨意新增或歪曲資訊。
研究團隊構建了一個覆蓋五個領域（包括科技、歷史、商業、健康、娛樂）的資料集，包含超過1500篇文件。他們使用多個先進的LLM（包括GPT-4o、Claude、Llama等）生成播客轉錄文本，並引入了一種基於LLM的逐輪評判框架（turn-level LLM-as-a-judge）來評估每一輪對話是否得到源文件的支援。透過人工研究驗證，該評判框架的可靠性得到了確認。分析結果顯示，即使是目前最先進的模型，如GPT-4o，也頻繁生成無依據的內容。
為了解決這一問題，研究者提出了一個與模型無關的框架——catch-n-repair。該框架首先檢測對話中不忠實的輪次，然後在不破壞整體對話流暢性的前提下對其進行重寫。實驗在域內（與訓練資料同分布）和域外（跨領域）兩種場景下均進行了測試，結果表明catch-n-repair能夠持續提升對話的忠實度，且不會明顯降低生成質量。
該研究的創新之處在於首次將忠實度問題系統性地引入文件播客生成領域，並提供了有效的解決方案。這對於提升AI生成內容的可靠性具有重要意義，尤其是在新聞播報、教育播客、企業培訓等對資訊準確性要求較高的應用場景中。此外，catch-n-repair框架的模型無關特性使其易於整合到現有系統中，具有較高的實用價值。論文還公開了資料集和評判框架，為後續研究提供了基礎。
總體而言，這項工作不僅揭示了當前LLM在生成長篇對話時存在的忠實度問題，還提供了切實可行的改進方法。未來研究可進一步探索如何在不同語言、不同對話格式（如訪談、辯論）中應用該框架，以及如何將其與檢索增強生成（RAG）等技術結合，以實現更可靠的AI對話系統。