主题索引——即为文本段落分配结构化概念标签——对于大型文学和历史版本的学术访问至关重要，但这一过程在很大程度上仍然是手动且劳动密集型的。近日，一篇发表于arXiv的论文探讨了将机器学习应用于自动主题索引的可能性，以伏尔泰全集的两个重要子语料库作为测试案例：《论各民族的风俗与精神》和《百科全书问题》。
研究团队将任务框架化为一个多标签分类问题：模型必须为一个给定的文本页面分配一组专业索引员会应用的索引条目。他们比较了多种方法，从基于编码器的分类头模型到通过低秩适应（LoRA）微调的生成式大型语言模型（LLM），模型参数规模从约30亿到1200亿不等。这些模型涵盖了当前主流的自然语言处理架构，包括BERT、RoBERTa、T5以及GPT系列等，系统性地评估了不同架构和规模在文学文本主题索引任务上的表现。
最佳表现模型来自Mistral系列，采用4位量化配置，F1得分最高达到0.67。研究人员认为，考虑到专业索引固有的主观性以及模型预测虽与印刷索引不同但语义上有效的情况，这些数字实际上是下限。例如，一个模型可能预测出与人类索引员不同的概念标签，但其语义相关性同样成立，这在实际应用中可能被接受。因此，实际性能可能显著优于F1分数所反映的水平。
研究还进行了跨语料库泛化测试，将在一个作品上训练的模型应用于另一个作品，以评估其泛化能力。结果显示，模型在跨域场景下性能有所下降，但仍保持一定的有效性，这表明自动索引模型可能需要在特定领域数据上进行微调。此外，对源文本中文学和修辞特征的定性分析揭示了自动处理的难点，例如讽刺、隐喻和文体变化往往导致模型预测与人类索引产生分歧。
这些发现对于为大规模文学和历史语料库提供结构化主题访问的广泛挑战具有重要意义。该研究不仅展示了机器学习在文学研究中的应用前景，也指出了当前技术在处理复杂文本特征时的局限性。未来工作可以探索更精细的模型设计、更丰富的训练数据以及针对文学特征的专门优化策略，从而推动自动主题索引走向实际应用。