Show HN:使用控制器即時本地AI音樂混音;Magenta、Stable Audio
slipmate是一款開源的AI DJ應用程式,利用Magenta和Stable Audio模型在本地即時生成並混音音樂。它支援Pioneer DDJ-FLX4等硬體控制器,提供混音器、色彩效果、凍結迴圈、節拍檢測、音色取樣、曲庫預設等功能,所有處理均在本地Apple Silicon Mac上完成。
slipmate 是一款開源的 AI DJ 應用程式,它利用 Magenta 和 Stable Audio 模型在本地即時生成並混音音樂。與傳統的 DJ 軟體不同,slipmate 完全在使用者的 Apple Silicon Mac 上執行,無需任何雲端處理,從而實現了低延遲和高隱私性。
該應用程式的核心功能包括一個功能齊全的混音器,支援每軌音量、高中低三段均衡、交叉漸變器,以及錄音功能,可將主輸出錄製為可下載的 WAV 檔案。色彩效果模組為每軌提供了一個旋鈕,可控制濾波器、回聲、空間、失真、噪聲和掃頻效果,其中旋鈕中心位置可實現精確的零效果旁路。
凍結迴圈功能允許使用者捕捉軌道的最後幾小節並迴圈播放,同時在後臺調整模型引數。節拍檢測系統會顯示每軌的 BPM,並在檢測到穩定節拍時自動同步回聲效果和凍結量化。音色取樣功能可以將另一軌的當前音色作為可混合目標新增到當前軌的音色墊上。
使用者可以將軌道的音色墊和色彩效果儲存為命名預設(曲庫),並透過 DDJ-FLX4 的旋鈕瀏覽和載入,支援 JSON 格式的匯入匯出。主控部分包含限制器和自動增益調整,確保不同響度的軌道保持平衡。耳機監聽功能支援透過 FLX4 的耳機插孔或瀏覽器可訪問的任何音訊裝置輸出。
硬體控制方面,slipmate 完整對映了 Pioneer DDJ-FLX4 的控制元件,包括播放/暫停、通道推子、三段均衡、交叉漸變器、CUE 按鈕、色彩效果旋鈕、打擊墊(用於效果選擇、音色目標和迴圈控制)以及轉盤旋鈕。連線後,旋鈕和推子的位置會同步,LED 狀態也會反映應用程式的當前狀態。
該專案還提供了詳細的開發指南,包括使用 justfile 進行設定、執行和測試,以及針對前端和後端的開發伺服器配置。硬體行為的驗證透過人工檢查清單完成。slipmate 的程式碼倉庫採用 TypeScript(69.4%)、Python(14.8%)、JavaScript(11.4%)等技術棧,並在 GitHub 上以開源形式釋出。