衡量课程与标准在主题覆盖、能力和认知深度上的一致性：应用于CS2013和CS2023的纵向框架

一项由 Sherzod Turaev 等学者提出的新研究，旨在解决本科计算机科学课程与国际课程指南之间的对齐度测量问题。研究团队开发了一种人机协同的管道流程，结合语义检索与人工判断，衡量课程对指南的覆盖情况。该研究以一份获得认证的计算机科学学士学位课程为例，将其与2013年和2023年的计算机科学课程指南（CS2013 和 CS2023）进行纵向对比。

研究流程首先将课程和指南分别表示为结构化语料库，然后通过语义检索生成课程单元与知识单元之间的候选匹配，最后由人工确认是否符合明确的覆盖定义。在七种基准检索器中，倒数秩融合（reciprocal-rank-fusion）集成模型表现最佳，而一款号称长上下文的模型甚至不如一个小型句子模型，这表明检索器的选择至关重要。两份映射图（map）均经过第二位独立评估者的验证，Cohen's kappa 系数分别为0.64（CS2023）和0.69（CS2013）。

结果表明，该课程覆盖了CS2023中49.7%的知识单元和CS2013中50.9%的知识单元，十年间覆盖率几乎保持不变。进一步分析能力表达和认知深度发现，课程对约88%的已覆盖单元表达了相应能力，但在认知深度的实现上，CS2023只有76%的单元达到推荐深度，而CS2013为95%。这一差距主要反映了新版指南提高了期望，而非课程本身的问题。

纵向比较还揭示了长期存在的结构性问题：并行与分布式计算、编程语言基础和系统基础等领域，在两种指南和ABET标准下均未得到充分覆盖。这些差异反映了标准的演变。该测量工具可重复使用，作者可根据请求提供。

这项研究为计算机科学教育评估提供了新方法，帮助教育机构更好地理解课程与行业标准之间的差距，并指导课程改进。