CANDI：面向专业领域问答的上下文对齐方法
本文介绍了CANDI-QA数据集，用于评估大型语言模型在医学诊断和金融咨询等专业领域的上下文对齐能力。数据集包含信息辅助和应用推理两类问题。研究评估了十多个模型，并提出了轻量级神经符号框架MTSS-Net作为基线。结果表明，当前LLM在专业领域实现上下文对齐仍面临重大挑战。
大型语言模型（LLM）在医学诊断和金融咨询等专业领域的部署，要求评估其超越通用知识的能力。传统问答基准往往无法捕捉这些领域所需的细微上下文基础、用户意识和领域理解。为了解决这一问题，研究人员引入了CANDI-QA（Contextual Alignment for Niche Domains Question Answering），这是一个新颖的数据集，旨在评估LLM在专业环境中提供准确、上下文敏感且与用户对齐的答案的能力。
CANDI-QA数据集包含由专家策划的问答对，分为两类：信息辅助问题，即需要精确提取的直接事实查询；以及应用推理问题，即需要情景推理才能生成可操作见解的多跳推理任务。研究团队评估了十多种不同的语言模型，从紧凑的开源模型到最先进的专有系统。作为稳健的基线，他们提出了MTSS-Net，一个轻量级的神经符号框架，结合了神经检索和基于规则的推理。
研究结果突显了在专业领域实现上下文对齐的巨大挑战，揭示了当前LLM在没有增强上下文或符号集成的情况下的局限性。具体来说，模型在应用推理问题上表现尤其不佳，需要多步推理和领域特定知识。例如，在医疗诊断场景中，模型可能忽略患者病史中的关键细节，导致不准确的建议。CANDI-QA最终作为一个关键基准，用于推动上下文感知语言模型的研究，激发为高风险领域开发稳健、可信赖的人工智能。该论文已发表在arXiv上，并提供了数据集的访问链接，旨在促进学术界和工业界的进一步研究。数据集的构建过程邀请了多位领域专家参与，确保了问题的高质量和代表性。未来的工作可能包括扩展数据集到更多领域，以及探索更有效的神经符号集成方法。