不應事事都消耗Token：論確定性AI的必要性

在人工智能領域，一個常見的誤區是認為所有任務都應該通過語言模型來處理。然而，這種做法不僅效率低下，而且成本高昂。最近，一個團隊設計了一個簡單的代理：每天早晨從指標API拉取數據，重新格式化JSON，然後存入表格。第一天運行良好，但隨後他們發現，每次運行都消耗數千Token，而這項任務本可以用一個簡單的腳本完成，既準確又免費。問題的核心在於：並非所有任務都需要智能推理，許多工作本質上是確定性的，應該由應用層而非AI模型來執行。

將確定性任務交給AI模型會帶來三個問題：非確定性、延遲和按次計費。例如，定時拉取數據或執行數據轉換，這些工作應該由調度函數完成，每次運行相同且免費。而通過模型處理，不僅增加了Token消耗，還因為上下文窗口被原始數據填滿，導致實際推理能力下降，形成“付費越多，答案越差”的困境。

解決之道在於區分概率性和確定性任務。概率性任務需要判斷、解釋或處理模糊性，應留給AI代理；而確定性任務如定時任務、API調用、數據存儲和查詢，則應交給應用層。確定性是功能而非限制，一個每天運行相同的定時任務是可靠且可預測的。關鍵在於：構建應用時投入一次Token，之後每次運行不再產生Token成本。

一個常見的錯誤是將記憶筆記當作數據庫使用。人們將結構化數據存入筆記，但筆記沒有模式，無法查詢，且隨着數據增長，每次讀取全部內容到上下文中既慢又貴。筆記適合存儲無固定模式的信息，如偏好、語氣、決策邏輯等，這些用於塑造AI的判斷力。而結構化、可查詢、高容量的數據應放在真正的數據庫中。

Vybe平台體現了這一理念：AI代理不僅聊天，還能構建和運行實際應用。代理負責推理和編排，應用負責執行和記憶。例如，內部競品追蹤代理將定時刷新、數據拉取和存儲都放在應用層，僅對需要判斷的部分（哪些值得標記）消耗Token。另一個例子是Falcon，一個競爭情報分析代理，其監控節奏和郵件發送是確定性的應用層邏輯，僅對信號判斷使用Token。

這種架構難以被複制，因為純聊天代理沒有應用層來卸載確定性工作，而純無代碼應用構建者又缺少推理層。Vybe將兩者結合，且模型無關，避免供應商鎖定。

最後，作者提供了一個檢查清單：任務是否需要判斷？是否重複？是否由代理直接調用API？是否將結構化數據存入筆記？上下文數據是用於推理還是存儲？通過這些問題，可以學會“哪些事不值得消耗Token”。好的代理系統不是將所有事都交給模型，而是將智能精準地用在能產生價值的地方，讓確定性代碼安靜且廉價地處理其餘部分。