テキストからパラメータへ：埋め込み正則化と信頼性・設計上限を用いた項目パラメータ予測

心理測定学において、新しく開発された項目は通常、実際のテストで試用されなければその心理測定的特性がわからず、コールドスタート問題が生じる。項目の特徴からパラメータを予測することは、線形ロジスティックテストモデルにまで遡る長年の測定問題である。現代のテキスト埋め込み技術は、従来手作業で指定されていた計画行列を自動化する。

本研究は、正則化回帰、繰り返し交差検証によるR二乗とそのリサンプリング標準偏差、およびパラメータ標準誤差から導かれる信頼性上限とシミュレーションベースの検出力較正による設計上限という2つの性能上限を組み合わせた評価フレームワークを提案する。このフレームワークを数学項目バンク（EEDI）と医師免許ベンチマーク（BEA 2024）に適用した結果、項目困難度はテキストから高度に予測可能（繰り返し交差検証R二乗=0.53、信頼性上限の約57%）であるのに対し、弁別力と擬似推測パラメータは予測可能性が低いように見える。しかし、これらの結果を上限と比較すると、この見かけ上の階層はテキスト信号の強さではなく、ターゲットの信頼性に起因することがわかる：テキストは困難度ターゲットに対して信頼性分散の57%から63%を均一に回復するが、3PL擬似推測パラメータの信頼性上限はほぼゼロであり、現在の精度では実行可能なターゲットではない。

BEAデータでは、埋め込みベースの回帰はほとんど分散を説明しないにもかかわらず、リーダーボードのRMSEと同等であり、ベンチマークにおけるスケールフリーメトリクスと明示的な上限の重要性が浮き彫りになった。さらに、単一の訓練テスト分割ではR二乗が0.1〜0.15過大評価される可能性があることが示され、較正支援アプリケーションや将来のベンチマーク構築には繰り返し交差検証が不可欠である。この研究は、心理測定パラメータのテキスト予測に対して厳密な評価手法を提供し、自動化された較正技術の発展に貢献する。