从文本到参数：基于嵌入正则化与信度及设计上限预测项目参数
本文提出一个结合正则化回归、重复交叉验证R平方及其重采样标准差、以及信度上限和设计上限的评估框架，用于从文本嵌入预测项目心理测量参数。在数学题库和医学执照基准测试中的应用表明，项目难度可高度预测，而区分度和伪猜测参数受限於信度上限而非文本信号强度。研究强调重复交叉验证和尺度无关指标的重要性。
在心理测量学中，新开发的试题项目通常需要进行实地测试才能获得其心理测量属性，这带来了冷启动问题。长期以来，从项目特征预测参数是测量领域的经典问题，可追溯至线性逻辑测试模型。如今，现代文本嵌入技术能够自动化传统上需要手动指定的设计矩阵。
针对这一问题，本研究提出了一种结合正则化回归、重复交叉验证的R平方及其重采样标准差、以及两个性能上限——由参数标准误差导出的信度上限和基于模拟功效校准的设计上限——的评估框架。该框架旨在从项目文本嵌入中预测项目参数，并提供性能的客观基准。
研究将该框架应用于数学题库（EEDI）和医学执照基准测试（BEA 2024）。结果显示，项目难度可以从文本高度预测（重复交叉验证R平方=0.53，约为信度上限的57%），而区分度和伪猜测参数的预测性似乎较低。然而，与上限对比发现，这种表面上的层次结构源于目标参数的信度差异，而非文本信号强度：文本统一恢复了困难度目标中57%至63%的信度变异，而3PL模型的伪猜测参数信度上限接近于零，在当前精度下无法作为有效预测目标。
在BEA数据上，尽管嵌入回归几乎未解释任何方差，但其均方根误差与排行榜相当，凸显了在基准测试中采用尺度无关指标和明确上限的迫切需要。此外，研究发现单次训练-测试分割可能使R平方膨胀0.1至0.15，强调了在标定支持应用和未来基准构建中采用重复交叉验证的必要性。该工作为心理测量参数的文本预测提供了严谨的评估方法，有助于推动自动化标定技术的发展。