大規模言語モデル(LLM)を利用した採点システムは、高学年のSTEMコースの採点負担を軽減することが期待されているが、これまでのほとんどの展開では学生の課題をサードパーティのAPIに送信しており、FERPA(家庭教育権とプライバシー法)に違反し、機関にデータリスクをもたらすと同時に、課題の大幅な修正が必要であった。Jesse A. Rodríguezは、LaTA(LaTeX Teaching Assistant)を提案する。これは、コモディティなオンプレミスハードウェア上で完全に動作し、多くの工学・物理学コースですでに採用されているLaTeXネイティブのワークフローを前提とする、プラグイン可能なオープンソースの自動採点システムである。LaTAは、取り込み(ingest)、セグメント化(segment)、採点(grade)、レポート(report)の4段階パイプラインを実装する。ローカルにホストされたオープンウェイトのチェーン・オブ・ソートLLMグレーダー(gpt-oss:120b)を使用し、学生の課題を教員作成の参照解答と比較し、YAML形式のルーブリックを適用して項目ごとにバイナリ採点を行う。LaTAは2026年冬季にオレゴン州立大学のME 373(機械工学方法論)で展開され、約200名の学生の毎週の課題を1台のMac Studioで採点した。課題あたりの限界費用はゼロドル、提出あたりのウォールクロック時間は1〜3分であり、修正された課題の再採点が可能になり、TAのオフィスアワーも大幅に拡大された。教員が確認した採点エラー率は学期を通じてルーブリック項目あたり約0.02〜0.04%であった。同じ教員の従来の採点方法を用いた以前のコホートと比較して、LaTAで採点されたコホートは中間試験で約11%、期末試験で約8%高い成績を示した。また、すべての学習目標において自己評価による自信が大幅に向上した(N=159の調査回答、Δ≥+1.49 Likertポイント、すべての比較でp<10^{-27})。コードはAGPLv3ライセンスで公開されている。
LaTA:FERPA準拠のローカルLLM自動採点システム(高学年STEMコース向け)
記事の要約
LaTAは、ローカルハードウェア上で完全に動作するオープンソースの自動採点システムで、LaTeXネイティブのワークフローを採用し、4段階パイプライン(取り込み、セグメント化、採点、レポート)とローカルホストのチェーン・オブ・ソートLLM(gpt-oss:120b)を使用して学生の課題を採点する。オレゴン州立大学のME 373コースで展開され、約200名の学生を対象に、課題あたりの限界費用ゼロ、エラー率約0.02〜0.04%を達成。従来の採点方法と比較して、中間試験で約11%、期末試験で約8%のスコア向上と、学生の自信の大幅な向上が報告されている。
LaTA:FERPA準拠のローカルLLM自動採点システム(高学年STEMコース向け)