跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

扩展热力学AI模型:面向Ising机硬件的可扩展训练方法

文章摘要

Andrew G. Moore提交的arXiv论文提出一种纯反向传播算法,可将深度卷积网络训练为在Ising机高温Gibbs采样下进行热力学推理,在CIFAR-10和CIFAR-100上分别达到94.9%和76.0%的准确率,并建立了推理成本与精度、自相关时间之间的理论关系。

来源arXiv Machine Learning作者: Andrew G. Moore
扩展热力学AI模型:面向Ising机硬件的可扩展训练方法
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

基于伊辛模型的熱力學計算裝置,長期被視為低功耗人工智慧推論與邊緣運算的潛力方案,但如何在此類硬體上規模化訓練大型模型,一直是懸而未決的難題。2026年6月30日提交至arXiv的一篇論文《Scaling Up Thermodynamic AI Models》(擴大熱力學AI模型的規模),由Andrew G. Moore撰寫,試圖補上這塊關鍵缺口。該論文編號為arXiv:2607.00170v1,屬於機器學習(cs.LG)領域,同時跨足無序系統與神經網路(cond-mat.dis-nn)以及人工智慧(cs.AI)等學科。

研究起點是一項既有理論:高溫吉布斯取樣(Gibbs sampling)的伊辛系統,其時間平均行為可以實現前饋神經網路的推論。換句話說,若讓伊辛機器在較高溫度下反覆取樣,再把取樣結果在時間上取平均,理論上就能等效於一次神經網路的前向傳播。然而,先前的理論僅止於對應關係的描述,並未提供可擴展的訓練方法,因此難以支撐大型模型。

本研究的核心貢獻,是把上述理論對應轉化為一套可規模化、且完全基於反向傳播(backpropagation)的演算法,用來訓練深層卷積網路,使其能在伊辛機器硬體上執行熱力學推論。作者以影像分類作為驗證任務,在二元吉布斯取樣(binary Gibbs sampling)條件下,模型在CIFAR-10資料集上達到94.9%的準確率,在CIFAR-100上則達到76.0%。這些數字顯示,熱力學推論不僅可行,且在中等難度的視覺任務上已具備實用水準。

在實作成果之外,論文進一步發展並以實驗驗證一套數學理論,用以描述推論成本與準確率之間的關係,並探討如何控制自相關時間(autocorrelation time)。自相關時間是影響取樣效率的關鍵量:時間相關性越強,等效獨立樣本越少,推論所需成本就越高。作者隨後推導出漸近結果,證明推論成本受到一個可良好控制的權衡關係所界定,亦即成本與效能之間存在可分析的邊界;論文同時提出計算最佳推論排程(inference schedule)的演算法,讓實務上能依需求調整取樣步數與精度。

最後,作者討論了這些結果對硬體開發的啟示,以及高溫熱力學AI模型未來的發展方向。整體而言,這項工作把原本停留在理論層次的伊辛取樣推論,推進到可訓練、可量化成本、可最佳化排程的階段,為低功耗邊緣AI硬體提供了一條更具體的技術路徑。不過,其實驗仍以CIFAR等級的資料集為主,能否推廣至更大規模的模型與更複雜的任務,仍有待後續驗證。

展开要点与分析

文章情报

工程师进阶

要点

  • 将高温Gibbs采样Ising系统的时间平均行为与前馈神经网络推理之间的理论对应关系转化为可扩展的纯反向传播训练算法
  • 在二元Gibbs采样下,图像分类模型在CIFAR-10上达到94.9%、CIFAR-100上达到76.0%的准确率
  • 建立并实验验证了推理成本与精度、自相关时间控制之间的数学理论,并给出计算最优推理调度的算法
  • 讨论了对硬件开发的启示以及高温热力学AI模型的未来方向

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。