本科计算机科学教育通常受大约每十年修订一次的国际课程指南约束,但各项目一直缺乏可靠且可重复的方法来评估自己对当前指南的覆盖程度,以及指南重构后覆盖情况会如何变化。针对这一问题,Sherzod Turaev等六位作者在arXiv上发布了一项研究,提出一种人机协同的流程,并将其纵向应用于一个获得认证的计算机科学本科项目,分别对照2013年计算机科学课程(CS2013)和2023年计算机科学课程(CS2023)进行测量。
该流程将项目课程和每版指南都表示为结构化语料库,通过语义检索生成候选的课程与知识单元匹配,再由人工依据明确的覆盖定义进行确认。研究团队对七种检索器进行了基准测试,发现倒数排名融合(reciprocal-rank-fusion)集成方法表现最强,而一个被认为擅长长上下文的模型反而不如小型句子模型,这表明检索器的选择必须经过实际测量,不能仅凭声誉。两张覆盖图谱均由独立的第二评分者验证,CS2023的Cohen's kappa为0.64,CS2013为0.69,说明标注一致性处于中等偏上水平。
纵向比较显示,该项目覆盖了CS2023中49.7%的知识单元,覆盖了CS2013中50.9%的知识单元,十年间几乎保持恒定。研究进一步将同样的“检索-确认”设计扩展到能力表述和认知深度。结果显示,在两版指南下,项目对约88%的已覆盖单元都表述了相应的能力;但在认知深度方面,CS2023下仅有76%的现有单元达到了推荐深度,而CS2013下这一比例为95%。作者指出,这一差距反映的是新指南提高了期望,而非项目本身退步。
通过纵向对比,研究还区分了两类问题:一类是持续存在的结构性缺口,包括并行与分布式计算、编程语言基础、系统基础等,这些领域在两版指南以及ABET认证标准下均未被覆盖;另一类是因标准演变而产生的差异。该测量工具具有可复用性,作者表示可应请求提供。论文共24页,含5幅图和8张表,提交于2026年6月17日,属于人工智能(cs.AI)和软件工程(cs.SE)领域。