跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

衡量课程对齐度:覆盖范围、能力与认知深度——一个应用于CS2013和CS2023的纵向框架

文章摘要

该论文提出一种人机协同的流程,用于衡量计算机科学本科项目对国际课程指南的覆盖情况,并纵向应用于同一认证项目对CS2013和CS2023的对比。研究发现,项目对两版指南的覆盖率均约50%,但CS2023下达到推荐认知深度的比例(76%)低于CS2013(95%),反映出新指南更高的期望而非项目退步。

来源arXiv AI作者: Sherzod Turaev, Mary John, Saja Aldabet, Mamoun Awad, Nazar Zaki, Khaled Shuaib
衡量课程对齐度:覆盖范围、能力与认知深度——一个应用于CS2013和CS2023的纵向框架
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

本科计算机科学教育通常受大约每十年修订一次的国际课程指南约束,但各项目一直缺乏可靠且可重复的方法来评估自己对当前指南的覆盖程度,以及指南重构后覆盖情况会如何变化。针对这一问题,Sherzod Turaev等六位作者在arXiv上发布了一项研究,提出一种人机协同的流程,并将其纵向应用于一个获得认证的计算机科学本科项目,分别对照2013年计算机科学课程(CS2013)和2023年计算机科学课程(CS2023)进行测量。

该流程将项目课程和每版指南都表示为结构化语料库,通过语义检索生成候选的课程与知识单元匹配,再由人工依据明确的覆盖定义进行确认。研究团队对七种检索器进行了基准测试,发现倒数排名融合(reciprocal-rank-fusion)集成方法表现最强,而一个被认为擅长长上下文的模型反而不如小型句子模型,这表明检索器的选择必须经过实际测量,不能仅凭声誉。两张覆盖图谱均由独立的第二评分者验证,CS2023的Cohen's kappa为0.64,CS2013为0.69,说明标注一致性处于中等偏上水平。

纵向比较显示,该项目覆盖了CS2023中49.7%的知识单元,覆盖了CS2013中50.9%的知识单元,十年间几乎保持恒定。研究进一步将同样的“检索-确认”设计扩展到能力表述和认知深度。结果显示,在两版指南下,项目对约88%的已覆盖单元都表述了相应的能力;但在认知深度方面,CS2023下仅有76%的现有单元达到了推荐深度,而CS2013下这一比例为95%。作者指出,这一差距反映的是新指南提高了期望,而非项目本身退步。

通过纵向对比,研究还区分了两类问题:一类是持续存在的结构性缺口,包括并行与分布式计算、编程语言基础、系统基础等,这些领域在两版指南以及ABET认证标准下均未被覆盖;另一类是因标准演变而产生的差异。该测量工具具有可复用性,作者表示可应请求提供。论文共24页,含5幅图和8张表,提交于2026年6月17日,属于人工智能(cs.AI)和软件工程(cs.SE)领域。

展开要点与分析

文章情报

投资人进阶

要点

  • 提出一种可复用的“检索-确认”人机协同方法,量化课程对知识单元的覆盖、能力表述和认知深度。
  • 在七个检索模型中,倒数排名融合集成表现最佳,而知名长上下文模型不如小型句子模型,强调检索器选择必须经过测量。
  • 项目对CS2023和CS2013的覆盖率分别为49.7%和50.9%,十年间几乎不变;能力表述覆盖率均约88%。
  • 认知深度达标率在CS2023下为76%,CS2013下为95%,差距源于新标准提高了要求。
  • 纵向比较区分了持续存在的结构性缺口(如并行与分布式计算、编程语言基础、系统基础)与标准演变带来的差异。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。