基于ResearchMath-14k数据集构建语义搜索引擎与开放状态分类器

本文详细演示了如何利用自然语言处理（NLP）工具对研究级数学问题进行分析。所使用的数据集为ResearchMath-14k，它包含了从arXiv中挖掘的约14,000个数学问题，每个问题都标注了数学领域和开放状态（如未解决或已解决）。

首先，我们加载数据集并检查其结构。通过可视化，我们发现数学问题在不同领域和开放状态上的分布情况。例如，一些领域（如代数几何）中开放问题的比例较高，而其他领域可能相反。我们还分析了问题的长度分布，确保后续分析基于有意义的文本。

接下来，我们使用TF-IDF方法提取每个数学领域的关键术语。这有助于揭示不同研究领域的主导主题和常用术语。例如，在数论领域，可能突出"素数"、"椭圆曲线"等关键词。

然后，我们利用SentenceTransformer模型将每个问题转换为语义嵌入向量。为了可视化，我们采用UMAP将高维嵌入降至二维，并用K-Means算法进行聚类。通过调整兰德指数（ARI）和归一化互信息（NMI），我们评估聚类结果与人工标注的数学领域分类的匹配程度。

核心部分是构建语义搜索引擎。用户输入查询（如“超椭圆曲线上的有理点”），系统通过计算查询嵌入与所有问题嵌入的余弦相似度，返回最相似的问题。我们还训练了一个逻辑回归分类器，基于嵌入向量预测问题的开放状态，并取得了较好的分类效果。

最后，我们计算所有问题嵌入之间的余弦相似度，找出最相似的问题对，用于检测近似重复或密切相关的数学问题。这有助于识别数据集中的冗余或高度相关的研究课题。

整个流程展示了现代NLP技术如何辅助数学研究，包括探索性问题检索、状态预测和重复检测。完整的代码和笔记可在相关平台获取。