從文本到引數：基於嵌入正則化與信度及設計上限預測專案引數
本文提出一個結合正則化迴歸、重複交叉驗證R平方及其重取樣標準差、以及信度上限和設計上限的評估框架，用於從文本嵌入預測專案心理測量引數。在數學題庫和醫學執照基準測試中的應用表明，專案難度可高度預測，而區分度和偽猜測引數受限於信度上限而非文本訊號強度。研究強調重複交叉驗證和尺度無關指標的重要性。
在心理測量學中，新開發的試題專案通常需要進行實地測試才能獲得其心理測量屬性，這帶來了冷啟動問題。長期以來，從專案特徵預測引數是測量領域的經典問題，可追溯至線性邏輯測試模型。如今，現代文本嵌入技術能夠自動化傳統上需要手動指定的設計矩陣。
針對這一問題，本研究提出了一種結合正則化迴歸、重複交叉驗證的R平方及其重取樣標準差、以及兩個效能上限——由引數標準誤差匯出的信度上限和基於模擬功效校準的設計上限——的評估框架。該框架旨在從專案文本嵌入中預測專案引數，並提供效能的客觀基準。
研究將該框架應用於數學題庫（EEDI）和醫學執照基準測試（BEA 2024）。結果顯示，專案難度可以從文本高度預測（重複交叉驗證R平方=0.53，約為信度上限的57%），而區分度和偽猜測引數的預測性似乎較低。然而，與上限對比發現，這種表面上的層次結構源於目標引數的信度差異，而非文本訊號強度：文本統一恢復了困難度目標中57%至63%的信度變異，而3PL模型的偽猜測引數信度上限接近於零，在當前精度下無法作為有效預測目標。
在BEA資料上，儘管嵌入迴歸幾乎未解釋任何方差，但其均方根誤差與排行榜相當，凸顯了在基準測試中採用尺度無關指標和明確上限的迫切需要。此外，研究發現單次訓練-測試分割可能使R平方膨脹0.1至0.15，強調了在標定支援應用和未來基準構建中採用重複交叉驗證的必要性。該工作為心理測量引數的文本預測提供了嚴謹的評估方法，有助於推動自動化標定技術的發展。