Show HN: コントローラーでリアルタイムローカルAI音楽ミックス;Magenta、Stable Audio
slipmateは、MagentaとStable Audioモデルを使用してリアルタイムにローカルで音楽を生成・ミックスするオープンソースのAI DJアプリケーションです。Pioneer DDJ-FLX4などのハードウェアコントローラーをサポートし、ミキサー、カラーFX、フリーズループ、ビート検出、スタイルサンプリング、クレートプリセットなどの機能を備え、すべてApple Silicon Mac上でローカル処理されます。
slipmateは、MagentaとStable Audioモデルを活用し、Apple Silicon Mac上でリアルタイムに音楽を生成・ミックスするオープンソースのAI DJアプリケーションです。従来のDJソフトウェアとは異なり、slipmateはすべての処理をローカルで完結させるため、低レイテンシと高いプライバシーを実現しています。
アプリケーションのコア機能には、各チャンネルのボリューム、ハイ/ミッド/ローEQ、クロスフェーダー、およびマスターバスをWAVファイルとして録音する機能を備えたフル機能のミキサーが含まれます。カラーFXモジュールでは、フィルター(バイポーラLPF/HPF)、ダブエコー、スペース、クラッシュ、ノイズ、スイープのエフェクトを各デッキに適用でき、ノブの中央位置ではビット単位のバイパスが可能です。
フリーズループ機能は、デッキの最後の数小節をキャプチャしてループ再生し、その間にモデルのパラメータを調整できます。ビート検出は各デッキのBPMを表示し、信頼できるテンポが検出されるとダブエコーの同期やフリーズの量子化が行われます。デッキ間スタイルサンプリングでは、1回の操作で他のデッキの現在のスタイルをターゲットとして取得できます。
ユーザーはデッキのパッド設定とカラーFXを名前付きプリセット(クレート)として保存し、FLX4のロータリーエンコーダーからブラウズしてミッドセット中にロードできます。エクスポート/インポートはJSON形式で、バックアップや共有が可能です。マスターセクションにはリミッターと自動ゲイン調整(Trim)が含まれ、異なるラウドネスのデッキを均一化します。ヘッドフォンキュー機能では、FLX4のヘッドフォンジャックまたはブラウザがアクセス可能な任意の出力デバイスからキュー音声をモニタリングできます。
ハードウェアコントロールに関して、slipmateはPioneer DDJ-FLX4の全コントロールをマッピングしています。具体的には、再生/停止、チャンネルフェーダー、3バンドEQ、クロスフェーダー、CUEボタン、SMART CFXノブ(カラーFX量、SHIFTでスタイルパッドに切り替え)、PAD FXパッドバンク(エフェクト選択)、HOT CUEパッド(スタイルターゲット選択)、SAMPLERパッド(フリーズループ)、ヘッドフォンミックスノブ、ブラウズロータリー+LOADボタン(クレートプリセットの選択とロード)などが含まれます。接続時にハードウェアのノブやフェーダーの位置が同期され、LEDがアプリの状態を反映します。
開発者向けには、justfileを使用したセットアップ、実行、テストの手順が提供されています。テストはバックエンド(pytest)とフロントエンド(vitest)の両方に対応し、E2Eテストでは実際のChromiumブラウザを必要とするものもあります。プロジェクトはTypeScript(69.4%)、Python(14.8%)、JavaScript(11.4%)などの言語で構成され、GitHub上でオープンソースとして公開されています。