CANDI：面向專業領域問答的上下文對齊方法
本文介紹了CANDI-QA數據集，用於評估大型語言模型在醫學診斷和金融諮詢等專業領域的上下文對齊能力。數據集包含信息輔助和應用推理兩類問題。研究評估了十多個模型，並提出了輕量級神經符號框架MTSS-Net作為基線。結果表明，當前LLM在專業領域實現上下文對齊仍面臨重大挑戰。
大型語言模型（LLM）在醫學診斷和金融諮詢等專業領域的部署，要求評估其超越通用知識的能力。傳統問答基準往往無法捕捉這些領域所需的細微上下文基礎、用户意識和領域理解。為了解決這一問題，研究人員引入了CANDI-QA（Contextual Alignment for Niche Domains Question Answering），這是一個新穎的數據集，旨在評估LLM在專業環境中提供準確、上下文敏感且與用户對齊的答案的能力。
CANDI-QA數據集包含由專家策劃的問答對，分為兩類：信息輔助問題，即需要精確提取的直接事實查詢；以及應用推理問題，即需要情景推理才能生成可操作見解的多跳推理任務。研究團隊評估了十多種不同的語言模型，從緊湊的開源模型到最先進的專有系統。作為穩健的基線，他們提出了MTSS-Net，一個輕量級的神經符號框架，結合了神經檢索和基於規則的推理。
研究結果突顯了在專業領域實現上下文對齊的巨大挑戰，揭示了當前LLM在沒有增強上下文或符號集成的情況下的侷限性。具體來説，模型在應用推理問題上表現尤其不佳，需要多步推理和領域特定知識。例如，在醫療診斷場景中，模型可能忽略患者病史中的關鍵細節，導致不準確的建議。CANDI-QA最終作為一個關鍵基準，用於推動上下文感知語言模型的研究，激發為高風險領域開發穩健、可信賴的人工智能。該論文已發表在arXiv上，並提供了數據集的訪問鏈接，旨在促進學術界和工業界的進一步研究。數據集的構建過程邀請了多位領域專家參與，確保了問題的高質量和代表性。未來的工作可能包括擴展數據集到更多領域，以及探索更有效的神經符號集成方法。