Kyutai釋出MuScriptor：用於多樂器音樂轉錄至MIDI的開源權重解碼器專用Transformer
MuScriptor是Kyutai與Mirelo合作開發的開源權重解碼器專用Transformer模型，能夠將多樂器音訊轉錄為MIDI。模型採用三階段訓練：在145萬合成MIDI上預訓練、17萬真實錄音（超1.1萬小時）上微調、300首人工驗證曲目上強化學習。在DTest基準上，其Multi F1達48.2%，遠超YourMT3+的21.9%。提供103M、307M和1.4B三種引數規模，推理程式碼採用MIT許可，權重採用CC BY-NC 4.0。
自動音樂轉錄（AMT）旨在將音訊錄音轉換為符號化音符，通常以MIDI格式輸出。單樂器轉錄已較為成熟，但多樂器混合轉錄仍具挑戰。Kyutai與Mirelo團隊近日釋出MuScriptor，旨在彌合這一差距。該模型為開源權重解碼器專用Transformer，基於真實多樂器錄音訓練，涵蓋多種音樂流派。
MuScriptor的核心是解碼器專用Transformer架構。它首先讀取短音訊片段的梅爾頻譜圖，然後自迴歸地預測表示音高、時序和樂器的MIDI風格令牌，實質上將轉錄任務建模為語言模型問題，遵循MT3令牌化方案。模型在Hugging Face上釋出三種權重變體：小型（103M引數）、中型（307M引數，預設）和大型（1.4B引數）。推理程式碼採用MIT許可，但權重採用CC BY-NC 4.0，限制商業使用。
訓練過程分為三個階段。首先是預訓練，使用約145萬MIDI檔案組成的DSynth資料集，透過線上管道合成音訊並應用音高偏移、速度調整、樂器隨機化等增強，結合超過250種音色庫和隨機失諧，生成近乎無限的音訊變體。其次是微調，使用內部DReal資料集，包含17萬段錄音，總計超過1.1萬小時，並配有時間對齊的標註。對齊透過插值和動態時間規整實現，低質量配對透過規整距離和最大時間拉伸因子過濾。最後是強化學習後訓練，基於300首手動驗證曲目的DRL資料集，採用類似GRPO的方法（結合REINFORCE和組相對優勢歸一化），獎勵函式為起始、幀和偏移三個F分數的總和，使模型傾向於生成更清晰的轉錄。
評估使用包含372首保留曲目的DTest資料集，採用mir_eval庫的樂器無關指標。其中Multi F1最為嚴格，因為要求同時匹配正確樂器。與YourMT3+基線（約1.3B引數）相比，MuScriptor各訓練階段效能逐步提升：合成資料預訓練後，Onset F1為34.5，Frame F1為48.9，Multi F1為16.2；加入DReal微調後，各項指標提升約20個百分點；經RL後訓練後，Onset F1達60.4，Frame F1達73.3，Multi F1達48.2。跨資料集測試（如Dagstuhl ChoirSet）也顯示類似提升，但起始和偏移精度在合唱等困難風格上仍較低。
使用方面，安裝只需一條命令，推理可流式輸出音符事件。模型支援樂器條件化，可指定已知樂器以穩定跨片段預測。透過uvx muscriptor serve可啟動帶有即時鋼琴捲簾的瀏覽器Web介面。
MuScriptor的應用場景廣泛：製作人可從混音中提取MIDI貝斯線並重新編曲；音樂學家可將歷史錄音轉換為可編輯樂譜；MIR研究人員可將轉錄用於和絃或調性識別；教育者可構建帶即時鋼琴捲簾的練習工具；開發者可透過樂器條件化僅轉錄鼓聲。
模型優勢包括：基於17萬真實錄音訓練，覆蓋古典到重金屬多種風格；開源權重與MIT許可推理程式碼，提供三種規模；Multi F1比YourMT3+提升超過26個百分點；支援樂器條件化；提供流式API和瀏覽器介面。不足之處包括：權重為CC BY-NC 4.0，限制商業部署；令牌化器丟棄力度資訊，無法表示同樂器同音高的重疊音符；起始和偏移精度在合唱等風格上仍有限；大型模型需要GPU才能實際應用；5秒片段長度限制了長程上下文和推理速度。
更多詳情可查閱論文、GitHub倉庫和模型權重。