以下文件的存储库。Frank Zalkow和Meinard Müller,使用弱对齐分数-音频对训练用于跨模式音乐检索的深色度模型,ISMIR 2020。
ctc-chroma的Python项目详细描述
使用弱对齐分数-音频对训练用于跨模式音乐检索的深色度模型
背景
此存储库包含以下论文的附带代码。 如果您使用此存储库中的代码,请考虑引用本文。在
Frank Zalkow and Meinard Müller: Using Weakly Aligned Score–Audio Pairs to Train Deep Chroma Models for Cross-Modal Music Retrieval. In Proceedings of the International Society for Music Information Retrieval Conference, Montréal, Canada, 2020.
该报有一个附带的网站。在
https://www.audiolabs-erlangen.de/resources/MIR/2020-ISMIR-ctc-chroma
使用
您可以使用pip在该存储库中安装代码:
^{pr2}$有两种方法可以使用此存储库的模型。第一种方法是使用Jupyter notebook。此笔记本应用模型并可视化其输出。第二种方法是使用脚本批处理文件夹中的音频文件。此脚本可以这样执行:
python apply_model.py -m MODEL_ID -i INPUT -o OUTPUT
这里,INPUT
是包含音频文件的目录,OUTPUT
是输出文件的目录,MODEL_ID
指定模型变量。由于不同的培训和验证拆分,存储库中包含10个模型变体。本文中使用的变体的标识符是train123valid4
,train234valid5
,train345valid1
,train451valid2
,和{train1234valid5
,train2345valid1
,train3451valid2
,train4512valid3
,和{
录音
为了便于直接测试这个存储库的代码,我们包含了两个公共域记录的摘录,我们从Musopen下载。节选与论文中人物使用的音乐部分相对应(图3和图4)。然而,本文采用了不同的性能(非公共领域)来生成数据。下面是一个小表格,里面有摘录的细节。在
Filename | Composer | Work | Performer | Description |
---|---|---|---|---|
Beethoven_Op067-01_DavidHighSchool.wav | Beethoven | Symphony no. 5, op. 67 | Davis High School Symphony Orchestra | First movement, first theme |
Beethoven_Op002-2-01_Pitman.wav | Beethoven | Piano Sonata no. 2, op. 2 no. 2 | Paul Pitman | First movement, second theme |
致谢
Frank Zalkow和Meinard Müller得到德国研究基金会(DFG-MU 2686/11-1,MU 2686/12-1)的支持。我们感谢丹尼尔·斯托勒就反恐委员会的损失进行了富有成效的讨论,并感谢迈克尔·克劳斯对原稿的校对。我们还感谢Stefan Balke和Vlora Arifi-Müller以及参与注释工作的所有学生,特别是Lena Krauß和Quirin Seilbeck。爱尔兰根国际音频实验室是弗里德里希·亚历山大大学(Friedrich Alexander Universität Erlangen-Nürnberg)和弗劳恩霍夫集成电路研究所的联合机构。作者感谢Erlangen区域计算中心(RRZE)提供的计算资源和支持。在
- 项目
标签: