AGI編譯器「Auto」

近日，RightNow AI 團隊釋出了名為“Auto”的 AGI 編譯器，旨在將LLM智慧體的行為記錄並編譯為經過驗證、能力受限的WebAssembly（wasm）二進位制檔案，從而實現低成本、高可靠性的推理。該專案已在GitHub上開源，並附有arXiv論文（編號2607.04542）。

Auto的核心思想是將前沿模型視為直譯器，並構建緊隨直譯器之後的編譯器。它透過記錄智慧體的操作軌跡，證明哪些部分是確定性的（即可符號化的），提取這些部分，將剩餘部分蒸餾為小型專家模型，然後對整個系統進行行為契約驗證，最終輸出一個“認知二進位制檔案”（.cbin），其中包含程式碼、小型模型和實測清單。

Auto的執行時分為兩級：一級（tier-1）是編譯後的快速路徑，適用於已確認的確定性行為；零級（tier-0）則呼叫前沿模型作為直譯器，處理被守護標記為新穎的輸入。當守護觸發時，系統回退到零級，記錄新軌跡，並重新編譯，形成一個“棘輪”機制：確保相同的思考不會重複計算。

在實測中，Auto展現了顯著效果。在560個已記錄的效果性跨度中，488個被判定為確定性（佔比87.1%），其中三個任務家族達到100%，剩餘主要為自由文本生成行為。在包含300個新穎項的流中，經過三次分佈偏移，邊際成本從約59微美元降至穩態2微美元，端到端成本降低6.4倍。編譯路徑的延遲從前沿模型的736毫秒降至程序內Node.js呼叫的18.2微秒，速度提升巨大。

然而，研究人員也指出了誠實侷限性：基準測試語料是設計過的（現實但合成），自由文本生成行為仍無法編譯（需留在零級），且寬鬆的守護可能導致48.9%的編譯答案錯誤。未來的改進方向包括語義嵌入守護和Sigstore簽名。

Auto的架構包含多個crate：auto-trace用於記錄和儲存軌跡，auto-passes執行符號提取和蒸餾，auto-backend負責生成.cbin並驗證，auto-runtime執行wasm並管理守護等。專案支援Python和TypeScript的SDK，並提供了完整的命令列工具鏈。

總體而言，Auto為LLM推理最佳化提供了一種新穎的編譯方法，透過將可重複的行為固化為高效、可驗證的二進位制檔案，大幅降低推理成本，同時保持對不確定行為的靈活回退能力。