MusicNet: um conjunto de dados em larga escala para pesquisa musical
Se você estiver interessado em pesquisa musical, deve ter ouvido falar do MusicNet, um conjunto de dados em grande escala de gravações e anotações de música clássica. O MusicNet é um recurso valioso para treinar e avaliar modelos de aprendizado de máquina para várias tarefas relacionadas à música, como identificação de notas, reconhecimento de instrumentos, classificação de compositores, detecção de início e previsão da próxima nota. Neste artigo, apresentaremos o MusicNet, seus recursos e conteúdo, suas aplicações e desafios, e como baixá-lo e usá-lo em seus próprios projetos.
O que é MusicNet e por que é importante?
MusicNet é uma coleção de 330 gravações de música clássica livremente licenciadas por 10 compositores, escritas para 11 instrumentos, juntamente com mais de 1 milhão de etiquetas anotadas indicando o tempo preciso de cada nota em cada gravação, o instrumento que toca cada nota e a posição da nota na estrutura métrica da composição. Os rótulos são adquiridos de partituras musicais alinhadas a gravações por time warping dinâmico. Os rótulos são verificados por músicos treinados; uma taxa de erro de rotulagem de 4% foi estimada.
musicnet download
Download Zip: https://jinyurl.com/2vRmkC
O MusicNet é importante porque oferece um conjunto de dados diversificado e de grande escala de gravações e anotações musicais de alta qualidade que podem servir como fonte de supervisão e avaliação de métodos de aprendizado de máquina para pesquisa musical. A pesquisa musical é um domínio desafiador que requer representações complexas de sinais de áudio, estruturas musicais, estilos, emoções e contextos. Os conjuntos de dados existentes geralmente são limitados em tamanho, qualidade, diversidade ou disponibilidade. O MusicNet visa preencher essa lacuna, fornecendo um conjunto de dados rico e acessível que abrange uma ampla gama de gêneros musicais, instrumentos, compositores e condições de gravação.
Recursos e conteúdo do MusicNet
O MusicNet possui vários recursos que o tornam adequado para pesquisa musical. Algumas dessas características são:
Ele contém 34 horas de apresentações de música de câmara em várias condições de estúdio e microfone.
Abrange 10 compositores de diferentes períodos e estilos: Bach, Beethoven, Brahms, Dvorak, Haydn, Mozart, Schubert, Schumann, Tchaikovsky e Vivaldi.
Inclui 11 instrumentos de diferentes famílias: violino, viola, violoncelo, baixo, flauta, oboé, clarinete, fagote, trompa, trompete e piano.
Ele fornece mais de 1 milhão de rótulos temporais que indicam o tempo de início, tempo de deslocamento, classe de afinação, identificação do instrumento, identificação da nota (dentro de uma peça), número do compasso (dentro de uma peça), número do tempo (dentro de um compasso), valor da nota (relativo ao tempo) e informações da ligadura (se a nota é arrastada para a próxima nota) de cada nota em cada gravação.
Ele oferece arquivos de metadados que contêm informações sobre o nome do compositor, nome da obra (incluindo o número do opus), nome do movimento (incluindo marcação de tempo), nome do intérprete (incluindo instrumento), data de gravação (se disponível), local da gravação (se disponível), engenheiro de gravação (se disponível), licença de gravação (Creative Commons ou Domínio Público), fonte da partitura (se disponível), licença da partitura (Creative Commons ou Domínio Público), método de alinhamento da partitura (time warping dinâmico ou manual), verificação do alinhamento da partitura (por músicos treinados ou não), taxa de erro de alinhamento da partitura (estimada ou não) e versão do formato da etiqueta.
Aplicações e desafios do MusicNet
O MusicNet pode ser usado para várias tarefas relacionadas à música que exigem modelos de aprendizado de máquina para aprender os recursos da música desde o início. Algumas dessas tarefas são:
Identifique as notas executadas em momentos específicos em uma gravação. Esta tarefa envolve prever a classe de afinação, identificação do instrumento, identificação da nota, número do compasso, número da batida, valor da nota e informações da ligadura de cada nota, dado seu tempo de início e tempo de compensação em uma gravação.
Classifique os instrumentos que atuam em uma gravação. Esta tarefa envolve prever o id do instrumento de cada nota, dado seu tempo de início e tempo de compensação em uma gravação.
Classifique o compositor de uma gravação. Esta tarefa envolve prever o nome do compositor de uma gravação dado seu sinal de áudio.
Identidade Identifique os tempos de início das notas em uma gravação. Essa tarefa envolve prever o tempo de início de cada nota, dado seu sinal de áudio.
Preveja a próxima nota em uma sequência de notas. Esta tarefa envolve prever a classe de afinação, identificação do instrumento, identificação da nota, número do compasso, número da batida, valor da nota e informações da ligadura da próxima nota dada uma sequência de notas anteriores.
Essas tarefas são desafiadoras porque exigem modelos para aprender representações musicais complexas e de alta dimensão a partir de sinais de áudio brutos e para lidar com questões como ruído, polifonia, variação de tempo, articulação, expressão e estilo. O MusicNet fornece um conjunto de dados de referência para avaliar o desempenho de diferentes modelos nessas tarefas e compará-los com o desempenho humano.
Como baixar MusicNet e usá-lo para seus próprios projetos
Se você estiver interessado em usar o MusicNet para seus próprios projetos de pesquisa musical, pode baixá-lo em seu site oficial ou em seu repositório GitHub. O conjunto de dados está disponível em dois formatos: arquivos WAV e arquivos HDF5. Os arquivos WAV contêm os sinais de áudio brutos das gravações, enquanto os arquivos HDF5 contêm os rótulos e metadados das gravações. Os arquivos HDF5 são organizados em três grupos: treinar, testar e validar. Cada grupo contém um conjunto de gravações e seus rótulos e metadados correspondentes. O grupo de treinamento contém 320 gravações, o grupo de teste contém 10 gravações e o grupo de validação contém 10 gravações.
Opções e formatos de download
Você pode optar por baixar os arquivos WAV ou os arquivos HDF5, ou ambos. Os arquivos WAV são compactados em arquivos ZIP, enquanto os arquivos HDF5 são compactados em arquivos TAR. O tamanho total dos arquivos WAV é de cerca de 22 GB, enquanto o tamanho total dos arquivos HDF5 é de cerca de 1 GB. Você pode baixá-los nos seguintes links:
FormatarLink
arquivos WAV
arquivos HDF5
Você também pode baixar gravações individuais ou subconjuntos de gravações usando o script de download fornecido no repositório GitHub. O script permite que você especifique o formato, grupo, compositor, instrumento ou id de gravação das gravações que deseja baixar. Por exemplo, se você deseja baixar apenas os arquivos WAV das gravações de Mozart no grupo train, você pode executar o seguinte comando:
python download.py --format wav --group train --composer Mozart
Carregadores de dados e ferramentas
Para facilitar o uso do MusicNet para seus próprios projetos, você pode usar os carregadores de dados e as ferramentas fornecidas no repositório GitHub. Os carregadores de dados permitem que você carregue e processe os dados do MusicNet em Python ou PyTorch. As ferramentas permitem que você visualize e reproduza os dados MusicNet em notebooks Jupyter. Por exemplo, se você deseja carregar e plotar uma gravação do MusicNet usando o PyTorch, execute o seguinte código:
importar tocha da musicnet import MusicNet # Carregar dados MusicNet root = '/caminho/para/musicnet' dataset = MusicNet(root=root) # Obter uma gravação por id rec_id = 1727 # Quinteto de clarinete de Mozart em lá maior x, y = dataset[rec_id] # Plotar o sinal de áudio e os rótulos dataset.plot(x,y)
Exemplos e tutoriais
Se você quiser ver alguns exemplos e tutoriais sobre como usar o MusicNet para diferentes tarefas relacionadas à música, verifique os notebooks fornecidos no repositório do GitHub. Os notebooks demonstram como usar o MusicNet para tarefas como identificação de notas, reconhecimento de instrumentos, classificação de compositores, detecção de início e previsão da próxima nota. Eles também mostram como usar diferentes modelos de aprendizado de máquina, como redes neurais convolucionais (CNNs), redes neurais recorrentes (RNNs), transformadores e autoencoders variacionais (VAEs) para essas tarefas. Por exemplo, se você quiser ver como usar um CNN para identificação de notas no MusicNet, você pode abrir este notebook:
Conclusão e perguntas frequentes
Neste artigo, apresentamos o MusicNet, um conjunto de dados em grande escala para pesquisa musical que contém 330 gravações de música clássica e mais de 1 milhão de rótulos anotados. Explicamos o que é o MusicNet e por que ele é importante para a pesquisa musical. Também descrevemos suas características e conteúdo, suas aplicações e desafios, e como baixá-lo e usá-lo para seus próprios projetos. Esperamos que este artigo tenha lhe dado uma visão geral clara do MusicNet e inspirado você a explorar seu potencial para seus próprios projetos de pesquisa musical. Também fornecemos alguns exemplos e tutoriais sobre como usar o MusicNet para diferentes tarefas relacionadas à música usando vários modelos de aprendizado de máquina.
Se você tiver alguma dúvida sobre o MusicNet, consulte as perguntas frequentes abaixo ou visite o site oficial ou o repositório GitHub para obter mais informações.
perguntas frequentes
Quais são as licenças das gravações e gravadoras do MusicNet?
As gravações MusicNet são licenciadas sob licenças Creative Commons ou Domínio Público, dependendo da fonte. Os selos MusicNet são licenciados sob uma Licença Creative Commons Atribuição-NãoComercial-CompartilhaIgual 4.0 Internacional. Você pode usar o MusicNet para fins não comerciais, desde que atribua a fonte e compartilhe suas modificações sob a mesma licença.
Como posso citar MusicNet em minhas publicações?
Se você usa o MusicNet em suas publicações, por favor, cite o seguinte paper:
@inproceedingsthickstun2017learning, title=Learning Features of Music from Scratch, author=Thickstun, John e Harchaoui, Zaid e Foster, Dean P e Kakade, Sham M, booktitle=International Conference on Learning Representations, ano=2017
Como posso contribuir para o MusicNet?
Se você deseja contribuir com o MusicNet, pode fazê-lo relatando problemas, sugerindo melhorias, adicionando novos recursos ou enviando solicitações pull no repositório GitHub. Você também pode entrar em contato com os autores do MusicNet por e-mail se tiver algum comentário ou pergunta.
Quais são alguns outros conjuntos de dados para pesquisa musical?
Existem muitos outros conjuntos de dados para pesquisa musical que cobrem diferentes aspectos da música, como gêneros, humores, letras, acordes, melodias, etc. Alguns desses conjuntos de dados são:
MagnaTagATune: Um conjunto de dados de 25.863 clipes de áudio com 188 tags relacionadas a gênero, humor, instrumentos, etc.
Musixmatch: Um conjunto de dados de mais de 14 milhões de letras com metadados, como nome do artista, nome do álbum, gênero, etc.
NSynth: Um conjunto de dados de mais de 300.000 notas musicais sintetizadas de diferentes instrumentos com informações de afinação, velocidade e timbre.
Lakh MIDI: Um conjunto de dados de mais de 176.000 arquivos MIDI com metadados, como nome do artista, título da música, gênero, etc.
GiantSteps: Um conjunto de dados de mais de 10.000 anotações de acordes para faixas de música eletrônica.
Quais são alguns outros recursos para pesquisa musical?
Existem muitos outros recursos para pesquisa musical que fornecem ferramentas, bibliotecas, frameworks, tutoriais, etc. para trabalhar com dados musicais e aplicar métodos de aprendizado de máquina à música. Alguns desses recursos são:
LibROSA: Uma biblioteca Python para análise de áudio e música.
Essentia: Uma biblioteca C++ para análise e síntese de áudio e música.
Magenta: uma estrutura baseada no TensorFlow para gerar e transformar música e arte usando aprendizado de máquina.
PrettyMIDI: Uma biblioteca Python para analisar e manipular arquivos MIDI.
Music21: Um kit de ferramentas Python para musicologia auxiliada por computador.
0517a86e26
Comments