Token過度消耗是AI成本黑洞——如何在不超預算的情況下使用智慧體
AI令牌消耗隨著智慧體技術的普及而急劇上升，導致成本不可持續。商業領袖提倡'令牌經濟學'，透過指導和上下文而非限制來管理令牌使用，在創新與控制成本之間取得平衡。
隨著智慧體AI技術的快速普及，企業面臨著前所未有的令牌消耗壓力。Boomi執行長Steve Lucas指出，過去一年他的公司在Claude上的支出增長了十倍，這種增長速度不可持續。令牌——AI模型處理資訊的基本單位——的消耗量正在以指數級上升，導致所謂的“令牌最大化”現象成為企業成本的主要來源。
Lucas強調，企業必須建立自己的“令牌經濟學”——一套衡量、定價和管理令牌消耗的體系。他認為，當前的令牌排行榜已經過時，因為企業再也無法承受浪費令牌的代價。相反，領導者需要制定策略，在鼓勵創新的同時控制成本。
Snowflake執行長Sridhar Ramaswamy表示，雖然內部AI推理支出令人擔憂，但這不應成為停止使用AI的理由。他指出，智慧體技術可以幫助企業更快地開發新服務，提高效率，並創造新的收入來源。關鍵在於找到支出與回報之間的平衡點。
Whoop公司分析副總裁Matt Luizzi分享了他們的做法：允許員工在智慧體上花費資金，但設定護欄並進行監控。他強調，讓員工理解如何更高效地使用模型比單純限制更重要。透過提供指導而非禁令，企業可以既推動創新又避免成本失控。
Synopsys資訊長Sriram Sitaraman進一步指出，上下文是限制令牌消耗的關鍵。如果智慧體任務沒有明確的範圍，它會消耗大量資料卻產出無用結果。而透過設定具體目標（如“北美銷售運營智慧體”），令牌消耗將大幅降低，同時價值顯著提升。
法國電視網路TF1集團首席資料官Francois-Xavier Pierrel將過度使用AI比作糖癮：最初很便宜，但上癮後成本飆升。他建議企業在部署智慧體時保持謹慎，優先使用小型模型完成簡單任務，避免不必要的巨大支出。
總之，智慧體AI的成功應用並非取決於無限制的令牌投入，而是透過合理的指導、監控和上下文設定，在創新與成本之間找到可持續的平衡。正如多位高管所言：“我們不是在發射火箭，所以請保持理性——不要一開始就部署一百萬個智慧體。”