本文にスキップ
AI News HubLIVE
サイト内リライト1 分で読了

LaTA:FERPA準拠のローカルLLM自動採点システム(高学年STEMコース向け)

記事の要約

LaTAは、ローカルハードウェア上で完全に動作するオープンソースの自動採点システムで、LaTeXネイティブのワークフローを採用し、4段階パイプライン(取り込み、セグメント化、採点、レポート)とローカルホストのチェーン・オブ・ソートLLM(gpt-oss:120b)を使用して学生の課題を採点する。オレゴン州立大学のME 373コースで展開され、約200名の学生を対象に、課題あたりの限界費用ゼロ、エラー率約0.02〜0.04%を達成。従来の採点方法と比較して、中間試験で約11%、期末試験で約8%のスコア向上と、学生の自信の大幅な向上が報告されている。

ソースarXiv AI著者: Jesse A. Rodr\'iguez
LaTA:FERPA準拠のローカルLLM自動採点システム(高学年STEMコース向け)
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

大規模言語モデル(LLM)を利用した採点システムは、高学年のSTEMコースの採点負担を軽減することが期待されているが、これまでのほとんどの展開では学生の課題をサードパーティのAPIに送信しており、FERPA(家庭教育権とプライバシー法)に違反し、機関にデータリスクをもたらすと同時に、課題の大幅な修正が必要であった。Jesse A. Rodríguezは、LaTA(LaTeX Teaching Assistant)を提案する。これは、コモディティなオンプレミスハードウェア上で完全に動作し、多くの工学・物理学コースですでに採用されているLaTeXネイティブのワークフローを前提とする、プラグイン可能なオープンソースの自動採点システムである。LaTAは、取り込み(ingest)、セグメント化(segment)、採点(grade)、レポート(report)の4段階パイプラインを実装する。ローカルにホストされたオープンウェイトのチェーン・オブ・ソートLLMグレーダー(gpt-oss:120b)を使用し、学生の課題を教員作成の参照解答と比較し、YAML形式のルーブリックを適用して項目ごとにバイナリ採点を行う。LaTAは2026年冬季にオレゴン州立大学のME 373(機械工学方法論)で展開され、約200名の学生の毎週の課題を1台のMac Studioで採点した。課題あたりの限界費用はゼロドル、提出あたりのウォールクロック時間は1〜3分であり、修正された課題の再採点が可能になり、TAのオフィスアワーも大幅に拡大された。教員が確認した採点エラー率は学期を通じてルーブリック項目あたり約0.02〜0.04%であった。同じ教員の従来の採点方法を用いた以前のコホートと比較して、LaTAで採点されたコホートは中間試験で約11%、期末試験で約8%高い成績を示した。また、すべての学習目標において自己評価による自信が大幅に向上した(N=159の調査回答、Δ≥+1.49 Likertポイント、すべての比較でp<10^{-27})。コードはAGPLv3ライセンスで公開されている。

要点と分析を開く

記事インテリジェンス

エンジニア中級

要点

  • LaTAは、学生データをサードパーティに送信せず、ローカルハードウェアで動作するオープンソースの自動採点システムで、FERPAに準拠している。
  • 4段階パイプライン(取り込み、セグメント化、採点、レポート)を採用し、ローカルホストのチェーン・オブ・ソートLLM(gpt-oss:120b)を使用する。
  • オレゴン州立大学のME 373で展開され、約200名の学生の毎週の課題を処理し、エラー率0.02〜0.04%、試験スコアと学生の自信が大幅に向上した。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。