不應事事都消耗Token：論確定性AI的必要性

在人工智慧領域，一個常見的誤區是認為所有任務都應該透過語言模型來處理。然而，這種做法不僅效率低下，而且成本高昂。最近，一個團隊設計了一個簡單的代理：每天早晨從指標API拉取資料，重新格式化JSON，然後存入表格。第一天執行良好，但隨後他們發現，每次執行都消耗數千Token，而這項任務本可以用一個簡單的指令碼完成，既準確又免費。問題的核心在於：並非所有任務都需要智慧推理，許多工作本質上是確定性的，應該由應用層而非AI模型來執行。

將確定性任務交給AI模型會帶來三個問題：非確定性、延遲和按次計費。例如，定時拉取資料或執行資料轉換，這些工作應該由排程函式完成，每次執行相同且免費。而透過模型處理，不僅增加了Token消耗，還因為上下文視窗被原始資料填滿，導致實際推理能力下降，形成“付費越多，答案越差”的困境。

解決之道在於區分機率性和確定性任務。機率性任務需要判斷、解釋或處理模糊性，應留給AI代理；而確定性任務如定時任務、API呼叫、資料儲存和查詢，則應交給應用層。確定性是功能而非限制，一個每天執行相同的定時任務是可靠且可預測的。關鍵在於：構建應用時投入一次Token，之後每次執行不再產生Token成本。

一個常見的錯誤是將記憶筆記當作資料庫使用。人們將結構化資料存入筆記，但筆記沒有模式，無法查詢，且隨著資料增長，每次讀取全部內容到上下文中既慢又貴。筆記適合儲存無固定模式的資訊，如偏好、語氣、決策邏輯等，這些用於塑造AI的判斷力。而結構化、可查詢、高容量的資料應放在真正的資料庫中。

Vybe平臺體現了這一理念：AI代理不僅聊天，還能構建和執行實際應用。代理負責推理和編排，應用負責執行和記憶。例如，內部競品追蹤代理將定時重新整理、資料拉取和儲存都放在應用層，僅對需要判斷的部分（哪些值得標記）消耗Token。另一個例子是Falcon，一個競爭情報分析代理，其監控節奏和郵件傳送是確定性的應用層邏輯，僅對訊號判斷使用Token。

這種架構難以被複制，因為純聊天代理沒有應用層來解除安裝確定性工作，而純無程式碼應用構建者又缺少推理層。Vybe將兩者結合，且模型無關，避免供應商鎖定。

最後，作者提供了一個檢查清單：任務是否需要判斷？是否重複？是否由代理直接呼叫API？是否將結構化資料存入筆記？上下文資料是用於推理還是儲存？透過這些問題，可以學會“哪些事不值得消耗Token”。好的代理系統不是將所有事都交給模型，而是將智慧精準地用在能產生價值的地方，讓確定性程式碼安靜且廉價地處理其餘部分。