停止浪費Token：面向LLM流水線的JSON更智能替代方案

要點

• JSON在LLM提示中因重複字段名導致Token浪費，TOON通過聲明字段一次並逐行列值來減少開銷。
• TOON最適合具有重複結構化記錄的輸入，如工單、產品目錄等；對於嵌套或不規則數據，效益有限。
• 推薦做法：後端保留JSON，僅在發送到LLM時轉換為TOON；輸出仍用JSON以便解析。
• 應在實際流程中基準測試Token節省、延遲和回答質量，以決定是否採用TOON。