在人工智能和自然語言處理領域，文本分類是一項基礎而重要的任務。然而，傳統方法往往依賴於大規模標註數據或複雜的神經網絡模型，在數據稀缺或分佈外場景下表現不佳。近日，一篇發表在arXiv上的論文提出了一種基於算法信息論（AIT）的全新結構序列分析方法，通過提取文本中的嵌套和層次重複模式，實現了輕量級、可解釋且無需訓練的高效文本距離度量。
該研究由Xiaojun Hu等八位作者共同完成，論文題目為“基於嵌套和層次重複的文本距離：一種壓縮視角”。其核心創新在於“Ladderpath”方法，該方法能夠從語言序列中提取出重複子結構的嵌套和層次關係，這實際上是算法信息論中“通過最小生成程序描述數據”原則的具體實現。
基於Ladderpath表示，研究者定義了三種距離度量：歸一化壓縮距離（NCD）以及兩種直接從Ladderpath表示導出的替代距離。NCD基於標準壓縮算法計算距離，而兩種替代距離則直接從Ladderpath的圖結構出發，分別基於節點和路徑的相似性。將這些距離與k-近鄰（k-NN）分類器集成後，在分佈內、分佈外（OOD）和少樣本文本分類任務上均取得了穩定且優異的性能。特別值得注意的是，在OOD和低資源設置下，所有三種方法都優於基於gzip的NCD以及BERT模型，而BERT需要大量數據和訓練。
實驗使用了多個文本分類基準數據集，包括分佈內和OOD設置。結果顯示，Ladderpath方法不僅在精度上競爭激烈，而且在計算成本和可解釋性上具有顯著優勢。與需要GPU和大量內存的神經網絡不同，Ladderpath方法僅依賴CPU即可高效運行，且不需要任何訓練，特別適用於資源受限的環境。
這一結果表明，Ladderpath捕獲的結構化表示能夠保留序列的內在屬性，為文本建模提供了一種輕量級、可解釋且無需訓練的替代方案。該工作凸顯了基於算法信息論的方法在結構性和領域無關的序列理解中的巨大潛力。
論文已提交至arXiv，編號為2607.05416，屬於計算與語言（cs.CL）和信息論（cs.IT）交叉領域。相關代碼和數據可通過論文鏈接獲取。該研究為未來探索基於序列結構的文本分析開闢了新的方向，特別是在低資源和跨域場景中具有廣泛應用前景。