NeurIPS Mech InterpワークショップでAIスロップが増加
3回のメカ解釈ワークショップを開催した意外な利点は、LLMスロップの増加を分析する優れたデータセットが得られたことです。@andyarditi は、どの程度のAIスロップが受け入れられたか、2024年以降の変化などを調査しました。
NeurIPSのメカ解釈ワークショップ（Mech Interp Workshop）の主催者は、3回のワークショップを開催した結果、大規模言語モデル（LLM）によるスロップ投稿の増加傾向を分析するための豊富なデータセットを偶然にも手に入れたと発表した。研究者の@andyarditiは、これらのデータを詳しく調査し、AIが生成したスロップがどの程度ワークショップに受け入れられたか、また2024年以降どのように変化したかを明らかにした。結果は、多くの低品質な投稿があるにもかかわらず、審査プロセスには一定の識別能力があり、完全にノイズではないことを示している。この発見は、学術投稿におけるAIの影響を理解する新たな視点を提供する。