不要构建路由器。训练小模型知道何时交给大模型

要点

• 使用两层级联：小型模型处理大多数简单查询，大型模型处理困难的少数查询，实现成本与质量的平衡。
• 小型模型经过训练，能够在遇到超出其能力范围的问题时发出‘交给大模型’的工具调用，无需额外路由器。
• 在航空客服演示中，小型模型处理约96%的查询，仅将最难的4%升级到大模型，质量与全部使用大模型相当。
• 训练过程基于知识蒸馏：教师模型标记困难查询，学生模型学习识别它们，并通过合成数据扩展训练。