arXiv 在 2026 年 9 月 20 日 19:34:30 UTC 收到编号为 arXiv:2609.25131v1 的论文,标题为《Entropy Can Flow, or It Can Guide. Be Entropy. LEDFlow: Introducing Entropy-guided Generation Order into Uniform Discrete Flow》,分类为机器学习 cs.LG,DOI 为 https://doi.org/10.48550/arXiv.2609.25131。作者是 Tung Sum Thomas Kwok、Yidong Ouyang、Yingjia Wan、Ying Nian Wu、Zhijiang Guo 和 Oscar Leong。论文关注均匀离散流:它允许在每个生成位置反复更新。持续修正能改掉错误 token,但也会把原本正确的中间预测暴露给后续错误。作者在一个数独实验中发现,9.4% 的生成单元格在中间步骤正确,却在最终输出中变成错误。为解决这一矛盾,论文把生成顺序引入均匀离散流,采用选择性吸收:固定被选中的预测,同时在活跃位置保留均匀流速度。为避免吸收错误预测,作者提出 Low-Entropy Discrete Flow(LEDFlow),一种无需训练的采样器,按局部熵自适应地决定吸收顺序。他们把吸收误差分解为联合依赖项与条件预测项,并证明在固定吸收预算下,选择最低熵位置可最小化条件项的上界。论文还支持使用局部熵:在不完美去噪器下,全局前瞻的决策误差上界会随着前瞻窗口增大而增大。实验方面,LEDFlow 在 Nikoli 数独上达到 0.845 求解准确率,在强约束任务上增益最大;在文本到图像生成上取得最佳综合得分;在多模态理解上,于六个基准全部优于原生采样器,推理成本与标准流采样相当。论文页面还列出 PDF、实验性 HTML、TeX 源码、许可证、NASA ADS、Google Scholar、Semantic Scholar、Connected Papers、Litmaps、scite、alphaXiv、CatalyzeX、DagsHub、Hugging Face、ScienceCast、Replicate、Hugging Face Spaces、TXYZ.AI、CORE、IArxiv、Influence Flower 等入口,以及 arXivLabs 说明。提交历史只有 v1:2026 年 9 月 20 日星期日 19:34:30 UTC,文件 825 KB。需要注意,数独 9.4% 是特定实验观察;理论部分依赖固定吸收预算、不完美去噪器和误差分解假设;LEDFlow 免训练、推理成本相当等结论仍需结合具体基准、实现与评测设置理解。
熵既能流动,也能引导:LEDFlow 将熵引导的生成顺序引入均匀离散流
文章摘要
一篇新的 arXiv 论文指出,均匀离散流虽然允许在每个生成位置反复更新,但持续的修正也会让原本正确的中间预测被后续错误覆盖——在数独实验中,9.4% 的生成格子在中途正确、最终却错误。作者提出 LEDFlow:一种无需训练的采样器,通过"选择性吸收"把生成顺序引入均匀离散流,并按局部熵自适应决定吸收顺序,从而避免固化错误预测。该方法在数独求解上达到 0.845 的 Nikoli 准确率,在文生图和六项多模态理解基准上均取得提升,推理成本与标准流采样相当。
来源arXiv Machine Learning作者: Tung Sum Thomas Kwok, Yidong Ouyang, Yingjia Wan, Ying Nian Wu, Zhijiang Guo, Oscar Leong
熵既能流动,也能引导:LEDFlow 将熵引导的生成顺序引入均匀离散流