不要構建路由器。訓練小模型知道何時交給大模型

要點

• 使用兩層級聯：小型模型處理大多數簡單查詢，大型模型處理困難的少數查詢，實現成本與質量的平衡。
• 小型模型經過訓練，能夠在遇到超出其能力範圍的問題時發出‘交給大模型’的工具呼叫，無需額外路由器。
• 在航空客服演示中，小型模型處理約96%的查詢，僅將最難的4%升級到大模型，質量與全部使用大模型相當。
• 訓練過程基於知識蒸餾：教師模型標記困難查詢，學生模型學習識別它們，並透過合成資料擴充套件訓練。