Kyutai发布MuScriptor：用于多乐器音乐转录至MIDI的开源权重解码器专用Transformer
MuScriptor是Kyutai与Mirelo合作开发的开源权重解码器专用Transformer模型，能够将多乐器音频转录为MIDI。模型采用三阶段训练：在145万合成MIDI上预训练、17万真实录音（超1.1万小时）上微调、300首人工验证曲目上强化学习。在DTest基准上，其Multi F1达48.2%，远超YourMT3+的21.9%。提供103M、307M和1.4B三种参数规模，推理代码采用MIT许可，权重采用CC BY-NC 4.0。
自动音乐转录（AMT）旨在将音频录音转换为符号化音符，通常以MIDI格式输出。单乐器转录已较为成熟，但多乐器混合转录仍具挑战。Kyutai与Mirelo团队近日发布MuScriptor，旨在弥合这一差距。该模型为开源权重解码器专用Transformer，基于真实多乐器录音训练，涵盖多种音乐流派。
MuScriptor的核心是解码器专用Transformer架构。它首先读取短音频片段的梅尔频谱图，然后自回归地预测表示音高、时序和乐器的MIDI风格令牌，实质上将转录任务建模为语言模型问题，遵循MT3令牌化方案。模型在Hugging Face上发布三种权重变体：小型（103M参数）、中型（307M参数，默认）和大型（1.4B参数）。推理代码采用MIT许可，但权重采用CC BY-NC 4.0，限制商业使用。
训练过程分为三个阶段。首先是预训练，使用约145万MIDI文件组成的DSynth数据集，通过在线管道合成音频并应用音高偏移、速度调整、乐器随机化等增强，结合超过250种音色库和随机失谐，生成近乎无限的音频变体。其次是微调，使用内部DReal数据集，包含17万段录音，总计超过1.1万小时，并配有时间对齐的标注。对齐通过插值和动态时间规整实现，低质量配对通过规整距离和最大时间拉伸因子过滤。最后是强化学习后训练，基于300首手动验证曲目的DRL数据集，采用类似GRPO的方法（结合REINFORCE和组相对优势归一化），奖励函数为起始、帧和偏移三个F分数的总和，使模型倾向于生成更清晰的转录。
评估使用包含372首保留曲目的DTest数据集，采用mir_eval库的乐器无关指标。其中Multi F1最为严格，因为要求同时匹配正确乐器。与YourMT3+基线（约1.3B参数）相比，MuScriptor各训练阶段性能逐步提升：合成数据预训练后，Onset F1为34.5，Frame F1为48.9，Multi F1为16.2；加入DReal微调后，各项指标提升约20个百分点；经RL后训练后，Onset F1达60.4，Frame F1达73.3，Multi F1达48.2。跨数据集测试（如Dagstuhl ChoirSet）也显示类似提升，但起始和偏移精度在合唱等困难风格上仍较低。
使用方面，安装只需一条命令，推理可流式输出音符事件。模型支持乐器条件化，可指定已知乐器以稳定跨片段预测。通过uvx muscriptor serve可启动带有实时钢琴卷帘的浏览器Web界面。
MuScriptor的应用场景广泛：制作人可从混音中提取MIDI贝斯线并重新编曲；音乐学家可将历史录音转换为可编辑乐谱；MIR研究人员可将转录用于和弦或调性识别；教育者可构建带实时钢琴卷帘的练习工具；开发者可通过乐器条件化仅转录鼓声。
模型优势包括：基于17万真实录音训练，覆盖古典到重金属多种风格；开源权重与MIT许可推理代码，提供三种规模；Multi F1比YourMT3+提升超过26个百分点；支持乐器条件化；提供流式API和浏览器界面。不足之处包括：权重为CC BY-NC 4.0，限制商业部署；令牌化器丢弃力度信息，无法表示同乐器同音高的重叠音符；起始和偏移精度在合唱等风格上仍有限；大型模型需要GPU才能实际应用；5秒片段长度限制了长程上下文和推理速度。
更多详情可查阅论文、GitHub仓库和模型权重。