大型文學語料庫的自動主題索引：伏爾泰全集的機器學習方法

主題索引——即為文本段落分配結構化概念標籤——對於大型文學和歷史版本的學術訪問至關重要，但這一過程在很大程度上仍然是手動且勞動密集型的。近日，一篇發表於arXiv的論文探討了將機器學習應用於自動主題索引的可能性，以伏爾泰全集的兩個重要子語料庫作為測試案例：《論各民族的風俗與精神》和《百科全書問題》。

研究團隊將任務框架化為一個多標籤分類問題：模型必須為一個給定的文本頁面分配一組專業索引員會應用的索引條目。他們比較了多種方法，從基於編碼器的分類頭模型到透過低秩適應（LoRA）微調的生成式大型語言模型（LLM），模型引數規模從約30億到1200億不等。這些模型涵蓋了當前主流的自然語言處理架構，包括BERT、RoBERTa、T5以及GPT系列等，系統性地評估了不同架構和規模在文學文本主題索引任務上的表現。

最佳表現模型來自Mistral系列，採用4位量化配置，F1得分最高達到0.67。研究人員認為，考慮到專業索引固有的主觀性以及模型預測雖與印刷索引不同但語義上有效的情況，這些數字實際上是下限。例如，一個模型可能預測出與人類索引員不同的概念標籤，但其語義相關性同樣成立，這在實際應用中可能被接受。因此，實際效能可能顯著優於F1分數所反映的水平。

研究還進行了跨語料庫泛化測試，將在一個作品上訓練的模型應用於另一個作品，以評估其泛化能力。結果顯示，模型在跨域場景下效能有所下降，但仍保持一定的有效性，這表明自動索引模型可能需要在特定領域資料上進行微調。此外，對源文本中文學和修辭特徵的定性分析揭示了自動處理的難點，例如諷刺、隱喻和文體變化往往導致模型預測與人類索引產生分歧。

這些發現對於為大規模文學和歷史語料庫提供結構化主題訪問的廣泛挑戰具有重要意義。該研究不僅展示了機器學習在文學研究中的應用前景，也指出了當前技術在處理複雜文本特徵時的侷限性。未來工作可以探索更精細的模型設計、更豐富的訓練資料以及針對文學特徵的專門最佳化策略，從而推動自動主題索引走向實際應用。