AI研究論文の質が向上、科学者にとって大きな問題に

昨年の夏、チューリッヒ大学再現可能科学センターの博士研究員ペーター・デーゲンは、指導教員から珍しい依頼を受けた。自身の論文が引用されすぎているというのだ。2017年に発表されたその論文は、疫学データに対する特定の統計分析の精度を評価したもので、長年にわたり数十回の引用を得ていたが、今や数日ごとに引用され、数百回に達していた。指導教員は調査を依頼した。

デーゲンは、引用している論文がすべて同様のパターンを持つことを発見した。それらはすべて、ワシントン大学の保健指標評価研究所がまとめた公開データセット「世界疾病負荷研究」を分析していた。しかし、研究者たちはこのデータセットを使って、あらゆる予測を大量に生み出していた。20歳以上の成人における脳卒中の将来確率、若年成人の精巣がん、中国の高齢者の転倒リスク、全粒穀物摂取不足の大腸がんリスクなど、枚挙に暇がない。

GitHubで関連コードを検索したデーゲンは、中国のソーシャルメディアBilibiliにたどり着いた。そこでは、広州の企業がソフトウェアツールとAIライティング支援を使って2時間以内に発表可能な研究を作成するチュートリアルを販売していた。これらの研究は質が低く、頭痛に関する研究のサブセットを分析した研究者は、誤りや誤解が多いことを発見した。しかし、以前のAI生成論文のように明らかに間違ってはいないため、フィルタリングが困難になっている。

「これは査読システムへの大きな負担であり、すでに限界に達している」とデーゲンは述べる。「発表される論文が多すぎて査読者が足りない。LLMが論文の量産を容易にすれば、システムは破綻点に達するだろう。」

生成AIの楽観論者は、科学的飛躍の促進やがんの撲滅などに期待を寄せるが、現在の技術は科学研究の柱の一つを弱体化させている。皮肉なことに、AIが有能な論文を生成できるようになればなるほど、危機は深刻化する。

過去10年間、学術出版は「論文工場」と呼ばれる闇市場企業と戦ってきた。生成AIは工場に新たな力を与え、剽窃検知器を回避する手助けをした。しかし、初期のAIには幻覚という弱点があり、出版社は理論的にそれらを除外できた。実際には、論文はすり抜け、後に「testtomcels」とラベル付けされた巨大な睾丸を持つラットの図や、「AIアシスタントとして」という文言が残った文章が発見されて撤回された。

現在、AIはほぼ独力で説得力のある論文を生成できるまでに向上し、切羽詰まった学者が自ら論文を製造できるようになった。結果として、出版、査読、助成金、研究システム全体を圧倒する科学ゴミの氾濫が生じている。

サリー大学の上級講師で『Scientific Reports』の副編集者であるマット・スピックは、米国国民健康栄養調査（NHANES）を分析した3つの非常によく似た論文に気づいた。Google Scholarで調べると、NHANESを引用する論文が突然爆発的に増加しており、すべてが同じ公式に従い、クルミと認知機能、スキムミルクとうつ病など、あらゆる関連性を発見している。

「十分な計算能力があれば、すべてのペアワイズ関連を測定し、まだ書かれていないものを見つけて発表できる。これはXとYの相関だ」とスピックは言う。これらの相関は多くの場合、誤解を招く単純化か統計上の偶然である。「教育年数が術後ヘルニア合併症を引き起こすというものは、単なるランダムな相関だ。これで何をすればいい？ 将来ヘルニアにならないように学校を中退しろと？」

長年にわたり、科学探偵はさまざまな検出方法を開発してきた。「ねじれたフレーズ」を探す、重複画像を追跡する、著者ネットワーク分析を行う、幻覚引用をチェックするなどだ。スピックは公開データセットを分析するテンプレート化された論文の塊を探す。これらの論文は必ずしも間違ってはいないが、誤解を招きやすく、厳密には詐欺ではない。ただ役に立たず、非常に簡単に作れるようになった。昨年、いくつかのジャーナルは、重複研究の氾濫を理由に公開データセット分析の投稿を制限し始めた。

スピックはこれらの対策が過去の戦いになることを恐れる。最近、AI企業はデータ分析、仮説生成、論文執筆を自律的に行う「エージェント」科学アシスタントをリリースしている。カーネギーメロン大学の研究者がテストしたところ、データを捏造したり誤解を招く手法を使ったりすることがあったが、最終的な論文は洗練されて見えた。

今年初め、OpenAIは論文執筆アシスタントPrismを発表した。スピックと同僚は、ナスとピーマンの熟成時間に関する既発表論文のデータをPrismに与えた。Prismは新しい統計手法を提案し、図表と正確な引用を含む完全な論文を25分50秒で作成した。「我々は皆、『これはちゃんとした仕事だ』と顔を見合わせた」とスピックは回想する。これまでとは異なり、テンプレートを使わず、単一の有名データベースも使用していなかった。

「どれだけの論文がすり抜けているのか、もはや簡単には見分けがつかないことに、いつ気づくのだろうか」とスピックは言う。彼は哲学的な問題も提起する：情報が正確であれば、誰が書いたかは重要か？ 科学はありとあらゆる事実を発表すべきか？

「科学の一部はフィルターであるはずだ。面白いと思うものを発表し、見つけられるものをすべて発表するのではない。そうすれば、科学はデータで世界をスパムし、何が意味があるか分からなくなる。」

これこそがAIエージェントの差し迫った実践的課題である。知識を創造・整理する人間システムを圧倒する恐れがある。研究資金提供機関は、特定の助成金に完璧に合わせた申請書の急増に直面し、何年もの作業の次のステップかを判断できない。会議主催者、ジャーナル編集者、査読者は、一見すると十分優れた材料の洪水をふるい分けるのに苦闘している。

国際関係ジャーナル『Security Dialogue』の常務編集者マリット・モー＝プライスの投稿数は前年比100%増加している。さらに厄介なのは、すべての投稿が非常に良くなったことだ。明らかな幻覚や残存プロンプトは消え、すべてが首尾一貫し、構造化され、スタイル的に類似しており、完全に生成されたものか、経験豊富な学者か、AIを編集に使う若手か判別しにくい。

「現在デスクで直面している主な問題は、不正と学術が混ざり合い、大きな灰色の塊となり、編集者は『これは何か？ 対応すべきか？』と判断しなければならないことだ」とモー＝プライスは言う。ある論文は少なくとも10人の編集者と2回の査読を通過した後、彼女が偽の引用に気づいた。それは非常にもっともらしく、ジャーナルの元編集者数名が関与するテーマだったが、実際には存在しなかった。さらにいくつか発見した。幻覚がどの段階で導入されたかは不明だが、この危うい経験は、虚偽の出版を防ぐための注意の重要性を浮き彫りにした。モデルがますます実際の論文を引用するようになったため、専門家が使うであろう文献を引用しているか読む必要がある。

「これは非常に詳細な作業であり、編集業務の一部だ。違いは、すべてのゴミに対してそれを行わなければならないことだ。だから作業負荷が手に負えなくなる」とモー＝プライスは述べている。

学術論文は発表前に多段階のレビュープロセスを経る。システムはもともと投稿数の増加に苦しんでいたが、AIは量を増やし、悪質な論文のフィルタリングをより困難にしている。モー＝プライスは査読に回す前に分類により多くの時間を費やし、査読者自身も忙しさから引き受けることが減っている。

これらの課題に対し、研究機関は新しい手法を模索している。一部のジャーナルはAI検出ツールを使用するが、部分的にしか有効ではない。より抜本的な解決策は、出版モデルの変更だ。しかしスピックとモー＝プライスは、根本的な解決策が現れるまで、学界はAI生成論文の波に対応し続けなければならないと述べている。

「これは技術問題だけでなく、文化問題でもある。何が価値があるのか、単に可能なすべてを発表するのではなく、再定義する必要がある」とスピックは結論づけた。