Token過度消耗是AI成本黑洞——如何在不超預算的情況下使用智能體

隨着智能體AI技術的快速普及，企業面臨着前所未有的令牌消耗壓力。Boomi首席執行官Steve Lucas指出，過去一年他的公司在Claude上的支出增長了十倍，這種增長速度不可持續。令牌——AI模型處理信息的基本單位——的消耗量正在以指數級上升，導致所謂的“令牌最大化”現象成為企業成本的主要來源。

Lucas強調，企業必須建立自己的“令牌經濟學”——一套衡量、定價和管理令牌消耗的體系。他認為，當前的令牌排行榜已經過時，因為企業再也無法承受浪費令牌的代價。相反，領導者需要制定策略，在鼓勵創新的同時控制成本。

Snowflake首席執行官Sridhar Ramaswamy表示，雖然內部AI推理支出令人擔憂，但這不應成為停止使用AI的理由。他指出，智能體技術可以幫助企業更快地開發新服務，提高效率，並創造新的收入來源。關鍵在於找到支出與回報之間的平衡點。

Whoop公司分析副總裁Matt Luizzi分享了他們的做法：允許員工在智能體上花費資金，但設置護欄並進行監控。他強調，讓員工理解如何更高效地使用模型比單純限制更重要。通過提供指導而非禁令，企業可以既推動創新又避免成本失控。

Synopsys首席信息官Sriram Sitaraman進一步指出，上下文是限制令牌消耗的關鍵。如果智能體任務沒有明確的範圍，它會消耗大量數據卻產出無用結果。而通過設定具體目標（如“北美銷售運營智能體”），令牌消耗將大幅降低，同時價值顯著提升。

法國電視網絡TF1集團首席數據官Francois-Xavier Pierrel將過度使用AI比作糖癮：最初很便宜，但上癮後成本飆升。他建議企業在部署智能體時保持謹慎，優先使用小型模型完成簡單任務，避免不必要的巨大支出。

總之，智能體AI的成功應用並非取決於無限制的令牌投入，而是通過合理的指導、監控和上下文設定，在創新與成本之間找到可持續的平衡。正如多位高管所言：“我們不是在發射火箭，所以請保持理性——不要一開始就部署一百萬個智能體。”