逻辑推理器在求解问题时往往需要从大量候选步骤中做出选择,而搜索效率在很大程度上取决于这些选择被排序得是否合理。来自 Yifan Zhang 等七位作者、发表在 arXiv 上的论文《High Quality Embeddings for Horn Logic Reasoning》正是围绕这一环节展开:训练神经网络为逻辑推理器给出的候选项打分排序,从而让推理过程更快地找到答案。论文属于人工智能方向,ACM 分类为 I.2.6 与 I.2.4,并已收录于 Proceedings of Machine Learning Research 第 284 卷。
这一思路的关键前提,是能够把逻辑语句转化为有用的数值表示,也就是嵌入。如果嵌入质量不高,即便下游排序网络结构合理,推理器也难以获得可靠的偏好信号。因此,论文的重点并不在推理算法本身,而在于如何构造出能让下游任务表现更好的嵌入,并对多种构造方式进行了系统评估。
在训练方法上,作者采用 triplet loss。这种损失要求训练样本由三部分组成:一个锚点、一个正例和一个负例。模型需要让锚点与正例在嵌入空间中彼此靠近,同时让锚点与负例相互远离。样本如何构造,直接决定了模型能学到什么样的区分能力,因此论文在这一环节提出了三项具体改进。
第一项改进针对锚点的生成:作者让锚点更有可能包含重复出现的词项。这样的锚点往往更能体现逻辑语句中的结构性重复,也更容易构造出有意义的正负例对照。第二项改进关注正例与负例的搭配,力求在简单、中等和困难样本之间保持良好平衡,避免训练数据过度偏向某一难度区间。第三项改进则是在训练过程中周期性地提高最难样本的权重,使模型反复面对自身容易出错的区分任务。
除方法设计外,论文还开展了多组实验来验证这些做法。其中一项重要实验是在不同知识库之间比较不同的嵌入方式,试图找出究竟是哪些特性使某种嵌入更适合某一类推理任务。这类跨知识库的比较有助于揭示嵌入质量与具体推理场景之间的对应关系,而不是仅仅给出一个平均意义上的最优方案。
整体来看,这项工作把表示学习与符号推理的搜索过程连接起来:嵌入并不只是被动的特征提取结果,而是直接影响推理器排序质量与搜索效率的训练目标。论文提出的样本构造策略和评估思路,为后续研究如何针对特定逻辑推理任务定制嵌入提供了可参考的方向。