Meta lança AudioCraft, IA generativa capaz de criar músicas

A Meta anunciou o AudioCraft, nova IA generativa de código aberto que consegue criar sons e músicas a partir de comandos de texto. A ideia é possibilitar que as pessoas consigam produzir músicas mesmo sem saber tocar um instrumento.

• YouTube testa IA para criar resumos dos vídeos automaticamente
• Meta prepara chatbot com IA com múltiplas personalidades, diz site

O AudioCraft é constituído por três modelos principais: o MusicGen, treinado especificamente para reconhecer e criar músicas a partir de comandos de texto; o AudioGen, treinado a partir de efeitos sonoros públicos, capaz de criar áudios com prompts; e o codificador EnDocec, que permite usar menos artefatos para gerar sons e ainda manter a qualidade do áudio.

De acordo com a empresa, o MusicGen foi treinado com mais de 400 mil gravações combinadas a descrições em texto e metadados, além de treinamento com 20 mil horas de músicas de propriedade da Meta ou licenciadas para essa função — o que pode ser uma alternativa aos problemas envolvendo IA e direitos autorais.

Os desafios para criar música a partir de IA

Enquanto as ferramentas para IA generativa de imagens, vídeos e textos já são difundidas, a criação de músicas enfrenta alguns obstáculos. Além de ser um processo mais complexo e que exige mais da rede neural, a maior parte dos conteúdos era criada por arquivos em MIDI ou Piano Rolls.

A proposta do AudioCraft é capturar mais nuances do que esses dois formatos são capazes, com mais instrumentos e estilos musicais, e combinar com alta qualidade de áudio. Para isso, o sistema consegue criar sons sem perda de qualidade e consistentes a longo prazo, combinado a uma interface mais amigável.

Tudo em código aberto

A Meta reforçou o compromisso em democratizar o acesso à IA e disponibilizou todos os modelos e códigos do AudioCraft em open source: segundo a empresa, esses conteúdos “estão disponíveis para propósitos de pesquisa e para aumentar a compreensão da tecnologia”.

Além disso, o código aberto pode ser uma alternativa para treinar a IA com mais estilos e instrumentos musicais. Na publicação de anúncio do AudioCraft, a Meta reconhece que a base de dados é majoritariamente composta por músicas de estilo ocidental e metadados em inglês.

Como ouvir as músicas em IA

A Meta disponibilizou alguns trechos de músicas criadas pelo AudioCraft. Alguns prompts de texto incluem “música de reggae clássico com solo de guitarra elétrica” e “grande arranjo de orquestra com percussão estrondosa, fanfarras de metais épica e cordas crescentes, criando uma atmosfera cinematográfica ideal para uma batalha heróica”.

Algumas das músicas parecem genéricas, mas já é possível ter uma noção do que a ferramenta pode fazer. Você pode ouvir os trechos em audiocraft.metademolab.com

Além disso, você também pode conferir outras ferramentas de IA que criam músicas.