CANDI：ニッチドメイン質問応答のための文脈アライメント
本論文では、医療診断や金融アドバイザリーなどの専門分野におけるLLMの文脈アライメント能力を評価するための新しいデータセットCANDI-QAを紹介する。データセットは情報支援質問と応用推論質問の2カテゴリで構成される。10以上のモデルを評価し、軽量なニューロシンボリックフレームワークMTSS-Netをベースラインとして提案する。結果は、専門分野での文脈アライメント実現の課題を浮き彫りにしている。
大規模言語モデル（LLM）を医療診断や金融アドバイザリーなどの専門分野に展開するには、一般的な知識を超えた能力の評価が必要です。従来の質問応答ベンチマークでは、これらの分野に必要な微妙な文脈の把握、ユーザー認識、ドメイン理解を捉えきれないことがよくあります。この問題に対処するため、研究者らはCANDI-QA（Contextual Alignment for Niche Domains Question Answering）を導入しました。これは、専門的な設定で正確で文脈に敏感でユーザーに合わせた回答を提供するLLMの能力を評価する新しいデータセットです。
CANDI-QAは専門家が厳選した質問応答ペアで構成され、2つのカテゴリに分類されます。（1）情報支援質問：正確な抽出を必要とする直接的な事実クエリ、（2）応用推論質問：状況推論を必要とするマルチホップ推論タスクで、実用的な洞察を生成します。研究チームは、コンパクトなオープンソースモデルから最先端のプロプライエタリシステムまで、10以上の多様な言語モデルを評価しました。ロバストなベースラインとして、ニューラル検索とルールベース推論を組み合わせた軽量なニューロシンボリックフレームワークMTSS-Netを提案しています。
研究結果は、ニッチドメインでの文脈アライメント達成の深刻な課題を浮き彫りにし、現在のLLMが強化された文脈的またはシンボリックな統合なしでは限界があることを示しています。特に、応用推論質問では、複数の推論ステップとドメイン固有の知識が必要とされるため、モデルの性能が著しく低下しました。例えば、医療診断のシナリオでは、モデルが患者の病歴の重要な詳細を見落とし、不正確なアドバイスを生成する可能性があります。最終的にCANDI-QAは、文脈認識型言語モデルの研究を前進させ、高リスク領域向けのロバストで信頼性の高いAIの開発を促進する重要なベンチマークとして機能します。この論文はarXivで公開されており、データセットへのアクセスリンクが提供されています。データセットの構築には複数のドメイン専門家が参加し、質問の質と代表性が確保されています。今後の展望として、より多くのドメインへのデータセット拡張や、より効果的なニューロシンボリック統合手法の探求が考えられます。