大規模文学コーパスの自動主題索引付け：ヴォルテール全集への機械学習アプローチ
本研究は、機械学習を用いた大規模文学コーパスの自動主題索引付けを探求し、ヴォルテール作品をテストケースとして、さまざまなモデルを比較。最良のMistralシリーズ4ビット量子化モデルはF1スコア0.67を達成し、自動索引の可能性を示した。
主題索引（テキストのセクションに構造化された概念ラベルを割り当てる実践）は、大規模な文学・歴史版における学術的アクセスに不可欠ですが、依然として大部分が手動で行われ、労働集約的なプロセスです。最近arXivに投稿された論文では、機械学習を自動主題索引に適用する可能性を探り、ヴォルテール全集の二つの重要なサブコーパス——『諸国民の風俗と精神』と『百科全書問題』——をテストケースとして使用しています。
研究チームは、このタスクをマルチラベル分類問題として定式化しました。モデルは、専門の索引者が特定のテキストページに適用するであろう索引エントリのセットを割り当てる必要があります。彼らは、エンコーダベースの分類ヘッドを持つモデルから、低ランク適応（LoRA）でファインチューニングされた生成型大規模言語モデル（LLM）まで、約30億から1200億パラメータのモデルサイズにわたるさまざまなアプローチを比較しました。これにはBERT、RoBERTa、T5、GPTシリーズなどの主要なアーキテクチャが含まれており、文学テキストの主題索引に対する各アーキテクチャと規模の性能を系統的に評価しています。
最も性能の良いモデルはMistralファミリーの4ビット量子化構成で、F1スコアは最大0.67に達しました。研究者らは、専門家による索引付けの主観性や、モデルの予測が印刷された索引と異なっていても意味的に有効である場合が多いことを考慮すると、これらの数値は実際には下限値であると主張しています。例えば、モデルが人間の索引者とは異なる概念ラベルを予測しても、その意味的関連性が同等であれば、実用上は受け入れられる可能性があります。したがって、実際の性能はF1スコアが示すよりも大幅に高い可能性があります。
さらに、研究ではコーパス間の汎化テストを実施し、ある作品で訓練されたモデルを別の作品に適用して汎化能力を評価しました。その結果、クロスドメインシナリオでは性能が低下するものの、依然として一定の有効性を保持していることが示されました。これは、自動索引モデルが特定のドメインデータで微調整される必要があることを示唆しています。また、元テキストの文学的特徴や修辞的特徴に関する定性分析により、自動処理が困難な点が明らかになりました。例えば、皮肉、比喩、文体の変化は、モデルの予測と人間の索引との間に食い違いを生じさせることがよくあります。
これらの発見は、大規模な文学・歴史コーパスへの構造化された主題アクセスを提供するという広範な課題に影響を与えます。この研究は、文学研究における機械学習の応用可能性を示すと同時に、複雑なテキスト特徴を扱う際の現在の技術の限界も明らかにしています。今後の研究では、より洗練されたモデル設計、豊富な訓練データ、文学的特徴に特化した最適化戦略を探求することで、自動主題索引の実用化を推進することができるでしょう。