Kyutai、MuScriptorを公開：マルチインストゥルメント音楽をMIDIに変換するオープンウェイトのデコーダ専用Transformer
MuScriptorはKyutaiとMireloが開発したオープンウェイトのデコーダ専用Transformerであり、マルチインストゥルメントのオーディオをMIDIに変換します。訓練は三段階で行われます：145万の合成MIDIによる事前訓練、17万の実録音（1万1千時間以上）による微調整、および300の手動検証済みトラックによる強化学習。DTestベンチマークではMulti F1が48.2%に達し、YourMT3+ベースラインの21.9%を大きく上回ります。103M、307M、1.4Bパラメータの3サイズが提供され、推論コードはMITライセンス、重みはCC BY-NC 4.0です。
自動音楽転写（AMT）はオーディオ録音を記号的な音符（通常はMIDI）に変換する技術です。単一楽器の転写はすでに実用的ですが、複数楽器が混在するミックスの転写は依然として困難です。KyutaiとMireloのチームはこのギャップを埋めるためにMuScriptorを公開しました。これはオープンウェイトのデコーダ専用Transformerであり、実際の複数楽器録音を多様なジャンルにわたって学習しています。
MuScriptorの核心はデコーダ専用Transformerアーキテクチャです。まず短いオーディオセグメントのメルスペクトログラムを読み取り、次にピッチ、タイミング、楽器を表すMIDI風トークンを自己回帰的に予測します。これにより転写は言語モデルタスクとなり、MT3トークン化方式を採用しています。Hugging Faceでは3種類の重みバリアントが公開されています：小（103M）、中（307M、デフォルト）、大（1.4B）。推論コードはMITライセンス、重みはCC BY-NC 4.0であり、商用利用は制限されます。
訓練プロセスは三段階で構成されます。事前訓練ではDSynthデータセット（約145万のMIDIファイル）を使用し、オンザフライでオーディオを合成します。音高シフト、テンポ変更、ベロシティ調整、楽器ランダム化などの拡張が適用され、250以上のサウンドフォントとランダムなデチューニングによりほぼ無限のオーディオバリエーションが生成されます。微調整ではDRealデータセット（内部の17万録音、合計1万1千時間以上）を使用し、タイムアライメントされた音符アノテーションが付与されています。アライメントは補間と動的時間伸縮法を用いた音響-記号同期により行われ、品質の低いペアは伸縮距離と最大時間伸張係数でフィルタリングされます。強化学習後訓練ではDRLデータセット（300の手動検証トラック）を用い、GRPOに類似した手法（REINFORCEとグループ相対アドバンテージ正規化の組み合わせ）を適用します。報酬はonset、frame、offsetの3つのFスコアの合計であり、モデルはよりクリーンな転写を生成するように学習します。
評価には372の保持トラックからなるDTestデータセットを使用し、mir_evalライブラリの楽器非依存指標を報告します。中でもMulti F1は最も厳格で、正しい楽器の一致も要求します。YourMT3+ベースライン（約1.3Bパラメータ）との比較では、各訓練段階で性能が向上しています。合成データのみの事前訓練ではOnset F1 34.5、Frame F1 48.9、Multi F1 16.2でしたが、DRealで微調整後はそれぞれ約20ポイント向上し、さらにRL後訓練後にはOnset F1 60.4、Frame F1 73.3、Multi F1 48.2に達しました。クロスデータセットテストでも同様の改善が見られ、例えばDagstuhl ChoirSetでのFrame F1は51.0から80.7に上昇しました。ただし、コラールのような難しいスタイルではonsetとoffsetの精度は依然として低いままです。
使用方法は単一のコマンドでインストールでき、推論はノートイベントをストリーム出力します。モデルは既知の楽器を条件として指定可能で、セグメント間の予測を安定させます。uvx muscriptor serveにより、リアルタイムピアノロール付きのブラウザWeb UIを起動できます。
出力は標準MIDIであるため、多くのワークフローに応用可能です：プロデューサーはミックスからMIDIベースラインを抽出してDAWで再ボイシング；音楽学者は歴史的録音を編集可能なスコアに変換；MIR研究者は転写をコードや調性認識システムに入力；教育者は再生中にライブピアノロールを表示する練習ツールを構築；開発者は楽器条件付けによりドラムのみを転写。
強みとしては、クラシックからヘヴィメタルまでをカバーする17万の実録音で訓練；オープンウェイトとMITライセンスの推論コード、3サイズ；YourMT3+ベースラインに対してMulti F1で26ポイント以上の改善；楽器条件付けによるカスタマイズ；ストリーミングAPIとブラウザWeb UI。弱みとしては、重みがCC BY-NC 4.0で商用展開が制限；トークナイザーがベロシティを無視し、同一ピッチ・同一楽器の重なり合う音符を表現不可；コラールなどのスタイルでonsetとoffsetの精度が低い；大モデルは実用的速度にGPUが必要；5秒のセグメントサイズが長距離コンテキストと推論速度を制限。
詳細は論文、GitHubリポジトリ、モデル重みを参照。