CLIR-Bench：面向不规则临床时间序列的多模态问答基准
CLIR-Bench是一个专门用于评估模型在不规则临床时间序列上进行问答能力的基准。它基于去标识化的ICU记录构建，包含6,600个问答实例，覆盖11个临床变量，分为4个能力维度和11个任务。实验表明，现有通用模型难以从稀疏数据中检索和推理证据，凸显了加强不规则时间序列推理方法的必要性。
临床时间序列数据在患者监测、风险评估和临床决策支持中起着核心作用。然而，这些数据往往存在稀疏、采样不规则以及异步等问题，使得模型难以识别临床问答所需的时间证据。现有的基准测试主要集中于规则采样的时间序列问答或基于静态数据的医学问答，很少评估模型能否基于不规则的时间观测来忠实回答。为了填补这一空白，研究人员提出了CLIR-Bench，这是一个专门用于不规则临床时间序列问答的基准测试。该基准通过一个原则性的四阶段流程，从去标识化的ICU记录中构建而成，确保了数据的真实性和代表性。
CLIR-Bench包含6,600个问答实例，涵盖了11个临床变量，包括心率、血压、呼吸频率等关键指标。这些实例按照4个能力维度进行组织：时间推理、多变量整合、数值比较和模式识别，并进一步细分为11个具体的任务，例如趋势判断、异常检测和事件预测。每个问题都关联到明确的时间证据和任务特定的答案推导规则，从而能够同时评估答案的准确性和证据的使用情况。这种设计使得CLIR-Bench不仅关注最终答案，还强调模型是否基于正确的临床观察进行推理。
实验结果表明，现有的通用模型在检索和推理稀疏临床证据方面存在显著困难。例如，GPT-4等大型语言模型在处理不规则采样的时间序列时，往往无法准确识别关键时间点或整合多个变量之间的关系。这凸显了开发更强大的不规则时间序列推理方法的必要性，尤其是在临床场景中，数据的不规则性是常态而非例外。
该基准的代码和数据已在Hugging Face上公开，研究人员可以通过https://huggingface.co/datasets/winall/CLIR-Bench获取，并用于模型评估和比较。这项工作为临床AI领域提供了一个重要的评估工具，有望推动更可靠的不规则时序推理技术的发展。论文由Frank Nie等六位作者共同完成，于2026年7月10日提交至arXiv，编号为2607.09880，目前正在接受同行评审。CLIR-Bench的发布填补了现有基准在 irregular 临床时间序列问答方面的空白，为未来研究提供了坚实的基础。