Show HN: 以一半成本蒸馏和部署具有前沿质量的小型模型
world-model-optimizer 是一个开源工具，利用已有的代理追踪数据持续改进模型，以低于竞争对手40%以上的成本实现前沿质量。支持模型路由、蒸馏、世界模型模拟，并提供托管平台和E2B沙箱集成。
近日，一个名为 world-model-optimizer（WMO）的开源工具在Hacker News上引起关注。该工具声称能够将现有模型代理的追踪数据转化为持续改进的源泉，以低于竞争对手40%以上的成本实现前沿质量。WMO的核心思想是利用用户已经收集的代理追踪数据，通过世界模型模拟、元优化和模型蒸馏等技术，不断优化模型性能。
WMO的使用流程相对简洁。用户首先需要注册自己的模型提供商，然后基于OpenTelemetry（OTel）追踪数据调整路由器。具体来说，通过命令wmo build --file traces.jsonl --name my-endpoint构建终端，随后利用wmo optimize route sweep对所有注册模型进行评分，最后使用wmo optimize route fit生成路由策略。部署时只需运行wmo serve --name my-endpoint即可。此外，WMO还支持模型蒸馏、固定路由和优化代理框架等高级功能。
除了CLI工具，WMO还提供托管平台（platform.experientiallabs.ai），用户可以在平台上创建账户并认证CLI，然后运行当前冠军框架。托管代理默认运行在平台管理的E2B沙箱中，用户也可以使用自己的E2B密钥在本地进行优化。WMO还集成了世界模型，用于模拟代理环境进行测试和优化，可通过Python代码或HTTP接口调用。
在开发方面，WMO使用uv进行依赖管理，ruff进行代码格式化和检查，ty进行类型检查。项目采用匿名使用追踪来统计使用量，但用户可以选择退出。WMO目前在GitHub上获得了114颗星和12个分支，社区活跃度良好。
总之，WMO为开发者提供了一种低成本、高效率的模型优化和部署方案，尤其适合已经拥有代理追踪数据的团队。通过结合世界模型模拟和路由优化，它能够在保持模型质量的同时大幅降低推理成本。