用于Horn逻辑推理的高质量嵌入
本文介绍了几种生成高质量嵌入的方法，以提升神经网络在Horn逻辑推理中对选择进行排序的效率。通过三元组损失训练，并引入三种新思路：生成更可能包含重复项的锚点、平衡正负例的难易程度、以及在训练中周期性强调最难样例。实验表明这些方法能提高下游推理任务的性能。
研究人员提出了一种改进方法，用于生成高质量的嵌入表示，以增强神经网络在Horn逻辑推理任务中的性能。该工作由Yifan Zhang等七位作者完成，发表于《机器学习研究论文集》第284卷（2025年），预印本编号arXiv:2605.20467。
Horn逻辑是一种重要的逻辑子集，广泛应用于逻辑编程和知识表示中。逻辑推理通常涉及对大量可能的结论进行搜索，而神经网络可以通过学习对推理器做出的选择进行排序来加速这一过程。关键步骤之一是创建逻辑语句的有效数值表示，即嵌入。本文聚焦于如何训练这些嵌入，使其在下游任务中产生更好的结果。
研究团队采用三元组损失函数进行训练，该函数需要三元组样例：锚点、正例和负例。他们引入了三项创新：首先，生成更可能包含重复项的锚点，这有助于模型捕捉逻辑结构中的模式；其次，生成正负例时确保简单、中等和困难样例之间的平衡，避免训练偏向某一难度层级；最后，在训练过程中周期性强调最难样例，迫使模型专注于最具挑战性的区分任务。
为了评估所提出的方法，研究人员进行了多项实验，包括在不同知识库上比较不同嵌入的性能。实验旨在识别出使得嵌入特别适合特定推理任务的特征。初步结果表明，所提出的嵌入生成策略能够带来更高效的推理搜索，并在多个基准测试中优于现有方法。
这项研究为神经符号系统的结合提供了新的思路，有望在自动推理、知识图谱查询和程序验证等领域产生实际应用。未来工作可能包括将方法扩展到更复杂的逻辑系统，以及在大规模知识库上的进一步验证。