CANDI：面向專業領域問答的上下文對齊方法
本文介紹了CANDI-QA資料集，用於評估大型語言模型在醫學診斷和金融諮詢等專業領域的上下文對齊能力。資料集包含資訊輔助和應用推理兩類問題。研究評估了十多個模型，並提出了輕量級神經符號框架MTSS-Net作為基線。結果表明，當前LLM在專業領域實現上下文對齊仍面臨重大挑戰。
大型語言模型（LLM）在醫學診斷和金融諮詢等專業領域的部署，要求評估其超越通用知識的能力。傳統問答基準往往無法捕捉這些領域所需的細微上下文基礎、使用者意識和領域理解。為了解決這一問題，研究人員引入了CANDI-QA（Contextual Alignment for Niche Domains Question Answering），這是一個新穎的資料集，旨在評估LLM在專業環境中提供準確、上下文敏感且與使用者對齊的答案的能力。
CANDI-QA資料集包含由專家策劃的問答對，分為兩類：資訊輔助問題，即需要精確提取的直接事實查詢；以及應用推理問題，即需要情景推理才能生成可操作見解的多跳推理任務。研究團隊評估了十多種不同的語言模型，從緊湊的開源模型到最先進的專有系統。作為穩健的基線，他們提出了MTSS-Net，一個輕量級的神經符號框架，結合了神經檢索和基於規則的推理。
研究結果突顯了在專業領域實現上下文對齊的巨大挑戰，揭示了當前LLM在沒有增強上下文或符號整合的情況下的侷限性。具體來說，模型在應用推理問題上表現尤其不佳，需要多步推理和領域特定知識。例如，在醫療診斷場景中，模型可能忽略患者病史中的關鍵細節，導致不準確的建議。CANDI-QA最終作為一個關鍵基準，用於推動上下文感知語言模型的研究，激發為高風險領域開發穩健、可信賴的人工智慧。該論文已發表在arXiv上，並提供了資料集的訪問連結，旨在促進學術界和工業界的進一步研究。資料集的構建過程邀請了多位領域專家參與，確保了問題的高質量和代表性。未來的工作可能包括擴充套件資料集到更多領域，以及探索更有效的神經符號整合方法。