停止浪費Token：面向LLM流水線的JSON更智慧替代方案

要點

• JSON在LLM提示中因重複欄位名導致Token浪費，TOON透過宣告欄位一次並逐行列值來減少開銷。
• TOON最適合具有重複結構化記錄的輸入，如工單、產品目錄等；對於巢狀或不規則資料，效益有限。
• 推薦做法：後端保留JSON，僅在傳送到LLM時轉換為TOON；輸出仍用JSON以便解析。
• 應在實際流程中基準測試Token節省、延遲和回答質量，以決定是否採用TOON。