臨床時系列データは、患者モニタリング、リスク評価、臨床意思決定支援において中心的な役割を果たします。しかし、これらのデータはしばしば疎であり、不規則にサンプリングされ、非同期であるため、モデルが臨床質問応答（QA）に必要な時間的証拠を特定することが困難です。既存のベンチマークは主に規則的にサンプリングされた時系列QAや静的データに対する医療QAに焦点を当てており、モデルが不規則な時間的観測に基づいて回答を忠実に根拠づけられるかどうかを評価することはほとんどありませんでした。このギャップを埋めるために、研究チームはCLIR-Benchを導入しました。これは、匿名化されたICU記録から原則的な4段階パイプラインを通じて構築された、不規則な臨床時系列QAのためのベンチマークです。
CLIR-Benchには、11の臨床変数（心拍数、血圧、呼吸数など）をカバーする6,600のQAインスタンスが含まれており、4つの能力次元（時間推論、多変量統合、数値比較、パターン認識）と11のタスクに編成されています。各質問は明示的な時間的証拠とタスク固有の回答導出ルールにリンクされており、回答の正確性と証拠の使用の両方を評価できます。この設計により、CLIR-Benchは最終回答だけでなく、モデルが正しい臨床観測に基づいて推論しているかどうかを重視します。
実験では、既存の汎用モデルが疎な臨床証拠を検索し推論することに苦戦していることが示されました。例えば、GPT-4のような大規模言語モデルは、不規則にサンプリングされた時系列を処理する際に、重要な時間点を正確に特定したり、複数の変数間の関係を統合したりすることができませんでした。これは、臨床現場ではデータの不規則性が標準であるため、より強力な不規則時系列推論手法の必要性を浮き彫りにしています。
コードとデータはHugging Faceで公開されており、研究者はhttps://huggingface.co/datasets/winall/CLIR-Benchからアクセスでき、モデルの評価と比較に使用できます。この研究は、臨床AI分野における重要な評価ツールを提供し、より信頼性の高い不規則時系列推論技術の進展を促進することが期待されます。論文はFrank Nieら6名の著者により、2026年7月10日にarXivに提出され（ID: 2607.09880）、現在査読中です。CLIR-Benchの公開は、不規則臨床時系列QAにおける既存ベンチマークのギャップを埋め、将来の研究の強固な基盤を提供します。