Show HN: 以一半成本蒸餾和部署具有前沿質量的小型模型
world-model-optimizer 是一個開源工具，利用已有的代理追蹤數據持續改進模型，以低於競爭對手40%以上的成本實現前沿質量。支持模型路由、蒸餾、世界模型模擬，並提供託管平台和E2B沙箱集成。
近日，一個名為 world-model-optimizer（WMO）的開源工具在Hacker News上引起關注。該工具聲稱能夠將現有模型代理的追蹤數據轉化為持續改進的源泉，以低於競爭對手40%以上的成本實現前沿質量。WMO的核心思想是利用用户已經收集的代理追蹤數據，通過世界模型模擬、元優化和模型蒸餾等技術，不斷優化模型性能。
WMO的使用流程相對簡潔。用户首先需要註冊自己的模型提供商，然後基於OpenTelemetry（OTel）追蹤數據調整路由器。具體來説，通過命令wmo build --file traces.jsonl --name my-endpoint構建終端，隨後利用wmo optimize route sweep對所有註冊模型進行評分，最後使用wmo optimize route fit生成路由策略。部署時只需運行wmo serve --name my-endpoint即可。此外，WMO還支持模型蒸餾、固定路由和優化代理框架等高級功能。
除了CLI工具，WMO還提供託管平台（platform.experientiallabs.ai），用户可以在平台上創建賬户並認證CLI，然後運行當前冠軍框架。託管代理默認運行在平台管理的E2B沙箱中，用户也可以使用自己的E2B密鑰在本地進行優化。WMO還集成了世界模型，用於模擬代理環境進行測試和優化，可通過Python代碼或HTTP接口調用。
在開發方面，WMO使用uv進行依賴管理，ruff進行代碼格式化和檢查，ty進行類型檢查。項目採用匿名使用追蹤來統計使用量，但用户可以選擇退出。WMO目前在GitHub上獲得了114顆星和12個分支，社區活躍度良好。
總之，WMO為開發者提供了一種低成本、高效率的模型優化和部署方案，尤其適合已經擁有代理追蹤數據的團隊。通過結合世界模型模擬和路由優化，它能夠在保持模型質量的同時大幅降低推理成本。