在人工智能和自然语言处理领域，文本分类是一项基础而重要的任务。然而，传统方法往往依赖于大规模标注数据或复杂的神经网络模型，在数据稀缺或分布外场景下表现不佳。近日，一篇发表在arXiv上的论文提出了一种基于算法信息论（AIT）的全新结构序列分析方法，通过提取文本中的嵌套和层次重复模式，实现了轻量级、可解释且无需训练的高效文本距离度量。
该研究由Xiaojun Hu等八位作者共同完成，论文题目为“基于嵌套和层次重复的文本距离：一种压缩视角”。其核心创新在于“Ladderpath”方法，该方法能够从语言序列中提取出重复子结构的嵌套和层次关系，这实际上是算法信息论中“通过最小生成程序描述数据”原则的具体实现。
基于Ladderpath表示，研究者定义了三種距離度量：歸一化壓縮距離（NCD）以及兩種直接從Ladderpath表示導出的替代距離。NCD基于标准压缩算法计算距离，而两种替代距离则直接从Ladderpath的图结构出发，分别基于节点和路径的相似性。將這些距離與k-近鄰（k-NN）分類器集成後，在分佈內、分佈外（OOD）和少樣本文本分類任務上均取得了穩定且優異的性能。特別值得注意的是，在OOD和低資源設置下，所有三種方法都優於基於gzip的NCD以及BERT模型，而BERT需要大量数据和训练。
實驗使用了多個文本分類基准数据集，包括分佈內和OOD設置。結果顯示，Ladderpath方法不仅在精度上竞争激烈，而且在计算成本和可解释性上具有显著优势。與需要GPU和大量内存的神经网络不同，Ladderpath方法仅依赖CPU即可高效运行，且不需要任何训练，特别适用于资源受限的环境。
這一結果表明，Ladderpath捕獲的結構化表示能夠保留序列的內在屬性，為文本建模提供了一種輕量級、可解釋且無需訓練的替代方案。該工作凸顯了基於算法信息論的方法在結構性和領域無關的序列理解中的巨大潛力。
論文已提交至arXiv，編號為2607.05416，屬於計算與語言（cs.CL）和信息論（cs.IT）交叉領域。相關代碼和數據可通過論文鏈接獲取。該研究为未来探索基于序列結構的文本分析开辟了新的方向，特别是在低资源和跨域場景中具有广泛应用前景。