跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

Lean 4 中证明自动形式化的鲁棒性评估

文章摘要

一篇新论文首次系统研究了证明自动形式化模型的鲁棒性,提出了全局和局部扰动两类扰动,并在 miniF2F 和 MATH-500 上构建基准测试,发现现有七个模型对全局扰动敏感,且多数在局部扰动下不能保持忠实。

来源arXiv Computational Linguistics作者: Zhengtao Gui, Sheng Yang, Zhouxing Shi
Lean 4 中证明自动形式化的鲁棒性评估
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

证明自动形式化(proof autoformalization)的目标,是把用自然语言书写的非形式化数学证明,翻译成 Lean 4 等形式化语言中的形式化证明。近年来,已有若干工作开发了基于大语言模型(LLM)的证明自动形式化模型,但现有评测通常只关注如何翻译来自精心整理数据集的、格式良好的非形式化证明。这篇于 2026 年 6 月 12 日提交的预印本论文指出,一个稳健的证明自动形式化器即使面对偏离这些理想化样本的非形式化证明,也必须保持忠实,并据此提出了首个针对证明自动形式化模型稳健性的研究。

论文将扰动划分为两大类,并分别评估模型在两类扰动下的稳健性。第一类是全局扰动:它用不同风格对非形式化证明进行改写,在这种情况下,形式化结果本应保持一致,也就是说改写不应改变最终形式化证明的正确性。第二类是局部扰动:它改动证明中的某个数值、符号或证明步骤,有时甚至以反事实的方式进行改动,而一个稳健的形式化结果应当忠实反映这一改动,而不是回退到原始版本,或自行推断出另一个不同的结论。

为开展评测,作者在 miniF2F 和 MATH-500 两个数据集上构建了同时包含两类扰动的基准,并设计了自动化的度量方法:在全局扰动下衡量证明自动形式化结果的正确性有多稳定,在局部扰动下衡量其输出对扰动的反映有多忠实。

作者随后评测了七个近期的模型。结果显示,所有模型都对全局扰动敏感,即在证明被改写风格后难以维持原有正确性;而在局部扰动下,大多数模型也无法保持忠实,往往没有如实反映被改动的数值、符号或证明步骤。这一发现表明,当前基于 LLM 的证明自动形式化系统在面对非理想化输入时仍存在明显短板。

论文的代码与数据已通过 https://github.com/ucr-rai/robust-proof-autoformalization 公开。该论文为预印本,作者为 Zhengtao Gui 等三人,提交历史显示 v1 版本于 2026 年 6 月 12 日 18:10:21 UTC 发布,全文约 246 KB,主题归类为计算与语言(cs.CL),并涉及人工智能(cs.AI)与机器学习(cs.LG)。论文的 DOI 为 https://doi.org/10.48550/arXiv.2606.14867,arXiv 编号为 arXiv:2606.14867v1。

展开要点与分析

文章情报

投资人进阶

要点

  • 研究首次关注证明自动形式化模型对非理想化证明的鲁棒性。
  • 定义了两类扰动:全局扰动(改变证明风格)和局部扰动(改变值、符号或证明步骤)。
  • 在 miniF2F 和 MATH-500 上构建基准,自动测量正确性稳定性和忠实性。
  • 评估七个近期模型:均对全局扰动敏感,多数在局部扰动下不忠实。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。