衡量課程與標準在主題覆蓋、能力和認知深度上的一致性：應用於CS2013和CS2023的縱向框架

一項由 Sherzod Turaev 等學者提出的新研究，旨在解決本科計算機科學課程與國際課程指南之間的對齊度測量問題。研究團隊開發了一種人機協同的管道流程，結合語義檢索與人工判斷，衡量課程對指南的覆蓋情況。該研究以一份獲得認證的計算機科學學士學位課程為例，將其與2013年和2023年的計算機科學課程指南（CS2013 和 CS2023）進行縱向對比。

研究流程首先將課程和指南分別表示為結構化語料庫，然後通過語義檢索生成課程單元與知識單元之間的候選匹配，最後由人工確認是否符合明確的覆蓋定義。在七種基準檢索器中，倒數秩融合（reciprocal-rank-fusion）集成模型表現最佳，而一款號稱長上下文的模型甚至不如一個小型句子模型，這表明檢索器的選擇至關重要。兩份映射圖（map）均經過第二位獨立評估者的驗證，Cohen's kappa 係數分別為0.64（CS2023）和0.69（CS2013）。

結果表明，該課程覆蓋了CS2023中49.7%的知識單元和CS2013中50.9%的知識單元，十年間覆蓋率幾乎保持不變。進一步分析能力表達和認知深度發現，課程對約88%的已覆蓋單元表達了相應能力，但在認知深度的實現上，CS2023只有76%的單元達到推薦深度，而CS2013為95%。這一差距主要反映了新版指南提高了期望，而非課程本身的問題。

縱向比較還揭示了長期存在的結構性問題：並行與分佈式計算、編程語言基礎和系統基礎等領域，在兩種指南和ABET標準下均未得到充分覆蓋。這些差異反映了標準的演變。該測量工具可重複使用，作者可根據請求提供。

這項研究為計算機科學教育評估提供了新方法，幫助教育機構更好地理解課程與行業標準之間的差距，並指導課程改進。