迈向能从错误中学习的量子计算机
谷歌量子AI团队通过将强化学习与量子纠错结合，展示了量子计算机能够持续适应漂移并在长时间计算中保持稳定。
想象一支交响乐团演奏复杂杰作。如果小提琴每几小节就走音，乐团将不得不不断停下来重新调音。幸运的是，交响乐团不会发生这种情况，因为乐器能可靠地保持音准。然而，这却是操作量子计算机的现实写照。
量子计算机本质上是模拟机器，对漂移敏感。维持可靠运行需要不断重新校准控制参数，即编排量子比特的模拟信号的频率、幅度和相位。目前，这需要完全终止整个量子计算。计算与校准的完全脱节是未来的根本瓶颈，因为有用的量子算法必须连续运行数天甚至数月。
为了解决这一问题，我们在《自然》杂志上发表的“量子纠错的强化学习控制”一文中，展示了一个强化学习框架。在该框架中，自主智能体从量子错误检测中学习，持续引导数千个控制参数，在计算过程中稳定量子系统。简而言之：我们找到了一种在音乐演奏的同时调音的方法。
处理量子错误 在音乐厅中，走音的乐器会立即被察觉。量子领域则没有这种奢侈。测量量子比特会坍缩其量子叠加态，如同聆听本身破坏了表演。为了保留量子信息，我们采用量子纠错（QEC）技术，该技术利用冗余从许多物理量子比特中创建“逻辑量子比特”，并使用物理量子比特上的专用奇偶校验将模拟噪声数字化为二进制错误检测事件。
不幸的是，这些比特只告诉我们错误发生在量子电路有界时空区域的某处，而不是确切位置。这就像听到一个跑调的音，却不知道是哪个音乐家演奏的。为了查明可能的错误位置并计算必要的校正，我们依赖QEC解码器，例如基于真实数据训练的神经网络解码器AlphaQubit和算法解码器Tesseract。如果错误足够罕见，这些解码器可以通过分析错误检测数据成功恢复逻辑量子信息。然而，解码器留下了一个关键问题未解答：这些错误最初为何发生？
一些错误源于量子系统与其周围环境不可避免的相互作用，导致退相干。这一无情的过程会破坏宏观量子叠加，实际上将量子计算机变成经典计算机。这种基本现象如此普遍，以至于我们熟悉的经典现实从量子自然法则中涌现。虽然这些环境错误永远无法完全避免，但许多其他错误是不精确的控制校准和硬件漂移的表现——这些缺陷仍然在我们能够缓解的能力范围内。
超越传统物理模型 传统上，量子校准依赖物理模型。其技术经过数十年的量子控制研究改进。然而，在技术领域，人工构建的模型不可避免地会遇到性能瓶颈。早期计算机视觉在依赖严格几何规则时停滞不前。传统机器人技术仍在与无法捕捉接触动力学和摩擦混乱现实的运动方程作斗争。同样，预测蛋白质折叠这一数十年的挑战，对于传统物理模型来说仍然难以捉摸，直到像AlphaFold这样的深度学习系统实现了前所未有的准确性。在这些领域中，当方法转向直接从数据中学习时，才出现了新的突破。
最近，AlphaQubit超越了最强大的算法QEC解码器的准确性。现在量子控制面临同样的瓶颈。随着量子处理器通过制造和硬件的进步而改进，其错误主要由复杂现象主导，这些现象对传统建模和校准构成挑战。机器学习能否带来新的进展？
不要只是纠正错误，要从中学习！
Google Research在开创性强化学习以解决传统编程过于复杂的问题方面有着悠久的历史。与依赖显式指令的算法不同，强化学习通过经验运作。自主智能体测试不同的行为，并直接从产生的错误中学习以完善其策略。应用强化学习实现准确、连续的量子校准几乎是必然的。由于QEC已经产生了稳定的检测事件流，我们只需赋予这些数据一个互补的角色。除了解码和纠正错误外，我们还将检测事件用作主动学习信号。随着计算进行，强化学习智能体监控这些数据并学习动态引导控制参数，抵消漂移并防止新错误。
量子计算通过模拟控制信号物理实现。量子错误检测事件被解码器用于推断逻辑校正。在我们的控制框架中，它们也被重新用作学习信号，教导强化学习智能体连续引导数千个控制参数，并在计算过程中稳定量子系统。
我们的量子控制实验 我们在旗舰级Willow超导处理器上验证了这种强化学习量子控制。通过故意注入控制参数的人工漂移，我们展示了强化学习引导将纠错码的逻辑稳定性提高了3.5倍，延长了处理器作为可靠“量子存储器”设备的时间。
通常，将处理器调整到峰值性能严重依赖“人在环路”方法，科学家应用物理直觉来解决难以自动化的边缘情况。然而，即使经过这种详尽的人工校准，后续的强化学习微调仍将逻辑错误率额外降低了20%。
我们所有技术的综合在这个实验中将量子存储器的逻辑错误降低到创纪录的低水平：表面码中每千个纠错周期少于一个错误，颜色码中每百个一个错误。
它可扩展吗？ 来自机器学习和量子研究人员的一个关键问题是这种强化学习方法能否扩展到未来的大型量子计算机。为了测试这一点，我们进行了具有数百个量子比特和数万个控制参数的数值模拟。
在我们的模拟中，一个未校准的系统从高物理错误率开始。智能体通过学习改进的控制参数稳步降低它，并且由于QEC，逻辑错误率随系统规模（即物理量子比特数量）呈指数级抑制。至关重要的是，强化学习降低物理错误率的速度与系统规模无关，这使得我们可以将这种方法扩展到更大的系统。
模拟证实了我们的预期：由于QEC检测事件对错误的局部敏感性，所需的强化学习训练迭代次数（epochs）与系统规模无关。然而，实现强化学习框架的全部潜力需要更紧密的集成。通过加速智能体与量子处理器之间的通信周期，并采用更先进的机器学习方法，我们希望解锁显著的额外改进。
因此，我们的工作开启了一个新范式：一台从错误中学习且不停止计算的量子计算机。