Show HN: 以一半成本蒸餾和部署具有前沿質量的小型模型
world-model-optimizer 是一個開源工具，利用已有的代理追蹤資料持續改進模型，以低於競爭對手40%以上的成本實現前沿質量。支援模型路由、蒸餾、世界模型模擬，並提供託管平臺和E2B沙箱整合。
近日，一個名為 world-model-optimizer（WMO）的開源工具在Hacker News上引起關注。該工具聲稱能夠將現有模型代理的追蹤資料轉化為持續改進的源泉，以低於競爭對手40%以上的成本實現前沿質量。WMO的核心思想是利用使用者已經收集的代理追蹤資料，透過世界模型模擬、元最佳化和模型蒸餾等技術，不斷最佳化模型效能。
WMO的使用流程相對簡潔。使用者首先需要註冊自己的模型提供商，然後基於OpenTelemetry（OTel）追蹤資料調整路由器。具體來說，透過命令wmo build --file traces.jsonl --name my-endpoint構建終端，隨後利用wmo optimize route sweep對所有註冊模型進行評分，最後使用wmo optimize route fit生成路由策略。部署時只需執行wmo serve --name my-endpoint即可。此外，WMO還支援模型蒸餾、固定路由和最佳化代理框架等高階功能。
除了CLI工具，WMO還提供託管平臺（platform.experientiallabs.ai），使用者可以在平臺上建立賬戶並認證CLI，然後執行當前冠軍框架。託管代理預設執行在平臺管理的E2B沙箱中，使用者也可以使用自己的E2B金鑰在本地進行最佳化。WMO還整合了世界模型，用於模擬代理環境進行測試和最佳化，可透過Python程式碼或HTTP介面呼叫。
在開發方面，WMO使用uv進行依賴管理，ruff進行程式碼格式化和檢查，ty進行型別檢查。專案採用匿名使用追蹤來統計使用量，但使用者可以選擇退出。WMO目前在GitHub上獲得了114顆星和12個分支，社群活躍度良好。
總之，WMO為開發者提供了一種低成本、高效率的模型最佳化和部署方案，尤其適合已經擁有代理追蹤資料的團隊。透過結合世界模型模擬和路由最佳化，它能夠在保持模型質量的同時大幅降低推理成本。