邁向能從錯誤中學習的量子計算機

想象一支交響樂團演奏複雜傑作。如果小提琴每幾小節就走音，樂團將不得不不斷停下來重新調音。幸運的是，交響樂團不會發生這種情況，因為樂器能可靠地保持音準。然而，這卻是操作量子計算機的現實寫照。

量子計算機本質上是模擬機器，對漂移敏感。維持可靠運行需要不斷重新校準控制參數，即編排量子比特的模擬信號的頻率、幅度和相位。目前，這需要完全終止整個量子計算。計算與校準的完全脱節是未來的根本瓶頸，因為有用的量子算法必須連續運行數天甚至數月。

為了解決這一問題，我們在《自然》雜誌上發表的“量子糾錯的強化學習控制”一文中，展示了一個強化學習框架。在該框架中，自主智能體從量子錯誤檢測中學習，持續引導數千個控制參數，在計算過程中穩定量子系統。簡而言之：我們找到了一種在音樂演奏的同時調音的方法。

處理量子錯誤 在音樂廳中，走音的樂器會立即被察覺。量子領域則沒有這種奢侈。測量量子比特會坍縮其量子疊加態，如同聆聽本身破壞了表演。為了保留量子信息，我們採用量子糾錯（QEC）技術，該技術利用冗餘從許多物理量子比特中創建“邏輯量子比特”，並使用物理量子比特上的專用奇偶校驗將模擬噪聲數字化為二進制錯誤檢測事件。

不幸的是，這些比特只告訴我們錯誤發生在量子電路有界時空區域的某處，而不是確切位置。這就像聽到一個跑調的音，卻不知道是哪個音樂家演奏的。為了查明可能的錯誤位置並計算必要的校正，我們依賴QEC解碼器，例如基於真實數據訓練的神經網絡解碼器AlphaQubit和算法解碼器Tesseract。如果錯誤足夠罕見，這些解碼器可以通過分析錯誤檢測數據成功恢復邏輯量子信息。然而，解碼器留下了一個關鍵問題未解答：這些錯誤最初為何發生？

一些錯誤源於量子系統與其周圍環境不可避免的相互作用，導致退相干。這一無情的過程會破壞宏觀量子疊加，實際上將量子計算機變成經典計算機。這種基本現象如此普遍，以至於我們熟悉的經典現實從量子自然法則中湧現。雖然這些環境錯誤永遠無法完全避免，但許多其他錯誤是不精確的控制校準和硬件漂移的表現——這些缺陷仍然在我們能夠緩解的能力範圍內。

超越傳統物理模型 傳統上，量子校準依賴物理模型。其技術經過數十年的量子控制研究改進。然而，在技術領域，人工構建的模型不可避免地會遇到性能瓶頸。早期計算機視覺在依賴嚴格幾何規則時停滯不前。傳統機器人技術仍在與無法捕捉接觸動力學和摩擦混亂現實的運動方程作鬥爭。同樣，預測蛋白質摺疊這一數十年的挑戰，對於傳統物理模型來説仍然難以捉摸，直到像AlphaFold這樣的深度學習系統實現了前所未有的準確性。在這些領域中，當方法轉向直接從數據中學習時，才出現了新的突破。

最近，AlphaQubit超越了最強大的算法QEC解碼器的準確性。現在量子控制面臨同樣的瓶頸。隨着量子處理器通過製造和硬件的進步而改進，其錯誤主要由複雜現象主導，這些現象對傳統建模和校準構成挑戰。機器學習能否帶來新的進展？

不要只是糾正錯誤，要從中學習！

Google Research在開創性強化學習以解決傳統編程過於複雜的問題方面有着悠久的歷史。與依賴顯式指令的算法不同，強化學習通過經驗運作。自主智能體測試不同的行為，並直接從產生的錯誤中學習以完善其策略。應用強化學習實現準確、連續的量子校準幾乎是必然的。由於QEC已經產生了穩定的檢測事件流，我們只需賦予這些數據一個互補的角色。除了解碼和糾正錯誤外，我們還將檢測事件用作主動學習信號。隨着計算進行，強化學習智能體監控這些數據並學習動態引導控制參數，抵消漂移並防止新錯誤。

量子計算通過模擬控制信號物理實現。量子錯誤檢測事件被解碼器用於推斷邏輯校正。在我們的控制框架中，它們也被重新用作學習信號，教導強化學習智能體連續引導數千個控制參數，並在計算過程中穩定量子系統。

我們的量子控制實驗 我們在旗艦級Willow超導處理器上驗證了這種強化學習量子控制。通過故意注入控制參數的人工漂移，我們展示了強化學習引導將糾錯碼的邏輯穩定性提高了3.5倍，延長了處理器作為可靠“量子存儲器”設備的時間。

通常，將處理器調整到峯值性能嚴重依賴“人在環路”方法，科學家應用物理直覺來解決難以自動化的邊緣情況。然而，即使經過這種詳盡的人工校準，後續的強化學習微調仍將邏輯錯誤率額外降低了20%。

我們所有技術的綜合在這個實驗中將量子存儲器的邏輯錯誤降低到創紀錄的低水平：表面碼中每千個糾錯週期少於一個錯誤，顏色碼中每百個一個錯誤。

它可擴展嗎？ 來自機器學習和量子研究人員的一個關鍵問題是這種強化學習方法能否擴展到未來的大型量子計算機。為了測試這一點，我們進行了具有數百個量子比特和數萬個控制參數的數值模擬。

在我們的模擬中，一個未校準的系統從高物理錯誤率開始。智能體通過學習改進的控制參數穩步降低它，並且由於QEC，邏輯錯誤率隨系統規模（即物理量子比特數量）呈指數級抑制。至關重要的是，強化學習降低物理錯誤率的速度與系統規模無關，這使得我們可以將這種方法擴展到更大的系統。

模擬證實了我們的預期：由於QEC檢測事件對錯誤的局部敏感性，所需的強化學習訓練迭代次數（epochs）與系統規模無關。然而，實現強化學習框架的全部潛力需要更緊密的集成。通過加速智能體與量子處理器之間的通信週期，並採用更先進的機器學習方法，我們希望解鎖顯著的額外改進。

因此，我們的工作開啓了一個新範式：一台從錯誤中學習且不停止計算的量子計算機。