跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

熵既能流动,也能引导:LEDFlow 将熵引导的生成顺序引入均匀离散流

文章摘要

一篇新的 arXiv 论文指出,均匀离散流虽然允许在每个生成位置反复更新,但持续的修正也会让原本正确的中间预测被后续错误覆盖——在数独实验中,9.4% 的生成格子在中途正确、最终却错误。作者提出 LEDFlow:一种无需训练的采样器,通过"选择性吸收"把生成顺序引入均匀离散流,并按局部熵自适应决定吸收顺序,从而避免固化错误预测。该方法在数独求解上达到 0.845 的 Nikoli 准确率,在文生图和六项多模态理解基准上均取得提升,推理成本与标准流采样相当。

来源arXiv Machine Learning作者: Tung Sum Thomas Kwok, Yidong Ouyang, Yingjia Wan, Ying Nian Wu, Zhijiang Guo, Oscar Leong
熵既能流动,也能引导:LEDFlow 将熵引导的生成顺序引入均匀离散流
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

arXiv 在 2026 年 9 月 20 日 19:34:30 UTC 收到编号为 arXiv:2609.25131v1 的论文,标题为《Entropy Can Flow, or It Can Guide. Be Entropy. LEDFlow: Introducing Entropy-guided Generation Order into Uniform Discrete Flow》,分类为机器学习 cs.LG,DOI 为 https://doi.org/10.48550/arXiv.2609.25131。作者是 Tung Sum Thomas Kwok、Yidong Ouyang、Yingjia Wan、Ying Nian Wu、Zhijiang Guo 和 Oscar Leong。论文关注均匀离散流:它允许在每个生成位置反复更新。持续修正能改掉错误 token,但也会把原本正确的中间预测暴露给后续错误。作者在一个数独实验中发现,9.4% 的生成单元格在中间步骤正确,却在最终输出中变成错误。为解决这一矛盾,论文把生成顺序引入均匀离散流,采用选择性吸收:固定被选中的预测,同时在活跃位置保留均匀流速度。为避免吸收错误预测,作者提出 Low-Entropy Discrete Flow(LEDFlow),一种无需训练的采样器,按局部熵自适应地决定吸收顺序。他们把吸收误差分解为联合依赖项与条件预测项,并证明在固定吸收预算下,选择最低熵位置可最小化条件项的上界。论文还支持使用局部熵:在不完美去噪器下,全局前瞻的决策误差上界会随着前瞻窗口增大而增大。实验方面,LEDFlow 在 Nikoli 数独上达到 0.845 求解准确率,在强约束任务上增益最大;在文本到图像生成上取得最佳综合得分;在多模态理解上,于六个基准全部优于原生采样器,推理成本与标准流采样相当。论文页面还列出 PDF、实验性 HTML、TeX 源码、许可证、NASA ADS、Google Scholar、Semantic Scholar、Connected Papers、Litmaps、scite、alphaXiv、CatalyzeX、DagsHub、Hugging Face、ScienceCast、Replicate、Hugging Face Spaces、TXYZ.AI、CORE、IArxiv、Influence Flower 等入口,以及 arXivLabs 说明。提交历史只有 v1:2026 年 9 月 20 日星期日 19:34:30 UTC,文件 825 KB。需要注意,数独 9.4% 是特定实验观察;理论部分依赖固定吸收预算、不完美去噪器和误差分解假设;LEDFlow 免训练、推理成本相当等结论仍需结合具体基准、实现与评测设置理解。

展开要点与分析

文章情报

工程师进阶

要点

  • 数独实验显示 9.4% 的格子中途正确但最终出错,说明持续修正是把双刃剑。
  • LEDFlow 通过选择性吸收引入生成顺序,并按局部熵从低到高决定哪些位置先被固定。
  • 理论分析把吸收误差分解为联合依赖项和条件预测项,证明在固定吸收预算下选择最低熵位置可最小化条件项的上界。
  • 在 Nikoli 数独上达到 0.845 求解准确率,并在文生图和多模态理解上全面超越原生采样器,成本相当。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。