トピックカバレッジ、コンピテンシー、認知深度にわたるカリキュラムアラインメントの測定：CS2013とCS2023に適用した縦断的フレームワーク

Sherzod Turaev氏らによる新しい研究は、学部のコンピュータサイエンスプログラムが国際的なカリキュラムガイドラインにどの程度合致しているかを測定する問題に取り組んでいます。研究チームは、セマンティック検索と人間の判断を組み合わせた「人間参加型パイプライン」を開発し、コースごとの知識ユニットのカバレッジを評価しました。この手法を、認証を受けたコンピュータサイエンス学士課程に適用し、2013年と2023年のカリキュラムガイドライン（CS2013およびCS2023）との縦断的比較を行いました。

パイプラインでは、まずプログラムと各ガイドラインを構造化コーパスとして表現し、セマンティック検索によってコースと知識ユニットの候補マッチを生成します。その後、人間が明確に定義されたカバレッジ基準に基づいてマッチを確認します。7つの検索エンジンをベンチマークした結果、相互ランク融合（reciprocal-rank-fusion）アンサンブルが最も優れており、長いコンテキストを扱うとされるモデルは小型の文モデルに劣っていました。このことから、検索エンジンの選択が重要であることが示されました。両方のマッピングは独立した第二評価者によって検証され、コーエンのカッパ係数はCS2023で0.64、CS2013で0.69でした。

分析の結果、プログラムはCS2023の知識ユニットの49.7%、CS2013の50.9%をカバーしており、10年間でほぼ一定のカバレッジが維持されていることがわかりました。さらに、同じ検索・確認の枠組みをコンピテンシーの明確化と認知深度に拡張したところ、プログラムは各ガイドラインの約88%のカバーされたユニットに対してコンピテンシーを明確化しているものの、認知深度については、CS2023では76%のユニットしか推奨深度に達していないのに対し、CS2013では95%に達していました。この差は、プログラム自体の問題ではなく、新しいガイドラインの期待値が上がったことを反映しています。

縦断的比較により、並列分散コンピューティング、プログラミング言語の基礎、システム基礎といった分野では、両方のガイドラインおよびABET標準においてカバーされていない永続的な構造的ギャップがあることが明らかになりました。これらの差は、標準の進化を示しています。この測定ツールは再利用可能で、著者からのリクエストにより入手可能です。

この研究は、コンピュータサイエンス教育の評価に新しい方法論を提供し、教育機関がカリキュラムと業界標準とのギャップを理解し、改善に役立てることを可能にします。