Proyecto MultiScore: Conversión automática de fuentes musicales a partituras digitales

10 Xuño 2024

Con un poco de imaginación, se puede llegar a intuir cómo sería escribir una partitura en un folio, hacer una foto con el móvil y escuchar cómo suena. O que se puede ver directamente la partitura de cualquier canción descargada (por ejemplo, en formato mp3). Para estas aplicaciones, la fuente musical debe traducirse a un formato de partitura digital (como el que se muestra en la Figura 1), que pueda ser procesado por un ordenador. Sin embargo, actualmente solo es posible obtener una partitura digital de forma manual utilizando un programa de edición de partituras.

Figura 1. Partitura digital (en formato Humdrum) y su visualización.

El reconocimiento óptico de música (OMR) y la transcripción automática de música (AMT) son los campos de investigación que buscan la forma de convertir automáticamente imágenes de partituras y grabaciones de audio, respectivamente, en partituras digitales. En la actualidad, existe una amplia variedad de enfoques que tratan de resolver estas cuestiones, pero sus resultados están lejos de ser fiables.

El proyecto Multimodal Transcription of Music Scores (MultiScore) propone el uso de modelos de inteligencia artificial que aprenden a través de grandes volúmenes de datos a resolver las tareas de OMR y AMT. MultiScore busca la mejor forma de obtener estos datos, filtrarlos y prepararlos para que puedan ser utilizados por estos modelos. Del mismo modo, se desarrollan formulaciones comunes para ambos procesos, de modo que los campos de investigación no se abordan por separado, sino que puedan resolverse de modo similar, creando sinergias entre ellos y facilitando la transferencia de conocimiento.

Los modelos resultantes de MultiScore, proyecto financiado por la Agencia Estatal de Investigación (AEI), permitirán que cualquier usuario suba una imagen y/o un archivo de audio a una aplicación y pueda descargar la transcripción de música resultante en distintos formatos de partitura digital. El usuario también podrá modificar la salida del sistema para corregir posibles errores de transcripción a través de un editor en línea, permitiendo así retroalimentar los modelos y continuar mejorando su precisión de manera continua.

Desarrollar modelos fiables para la transcripción de fuentes musicales tiene implicaciones prácticas para los compositores, directores e intérpretes, ya que reducen los costes de digitalización de partituras y, por lo tanto, llevan los beneficios de los formatos digitales a su práctica diaria. Por ejemplo, utilizando los sistemas del equipo investigador, un usuario podría cantar una melodía, tocar un instrumento o fotografiar una partitura existente e inmediatamente obtener, reproducir, escuchar y compartir la partitura digital resultante (ver Figura 2). Además, la transcripción de fuentes musicales a formato digital puede enriquecer el patrimonio musical de las bibliotecas, haciendo sus contenidos mucho más accesibles. Esto amplía el alcance de la musicología a composiciones para las que solo está disponible la fuente escrita o una grabación sonora, que es probablemente la mayoría de los casos cuando se habla de patrimonio musical histórico.

Figura 2. Beneficios de la conversión automática de fuentes musicales.

 

Investigadores/as Principales del proyecto
Antonio Pertusa Ibáñez

Antonio Pertusa Ibáñez es Ingeniero en Informática y Doctor por la Universidad de Alicante en 2001 y 2010, respectivamente. Es profesor titular en el Departamento de Lenguajes y Sistemas Informáticos (DLSI). Actualmente es el secretario del Instituto Universitario de Investigación en Informática (IUII), que cuenta con más de 120 investigadores doctores en informática. También es miembro del comité ejecutivo de la Asociación Española de Reconocimiento de Formas y Análisis de Imágenes (AERFAI), la rama española de la International Association for Pattern Recognition (IAPR). Sus intereses de investigación incluyen métodos de aprendizaje automático y profundo aplicados principalmente a la recuperación de información musical, datos médicos y teledetección. Es autor de más de 50 publicaciones que incluyen revistas de alto impacto y conferencias internacionales. Desde 2010 ha participado en 11 proyectos competitivos (tres de ellos como IP) y 4 contratos no competitivos (dos de ellos como IP) con entidades públicas y privadas.

Jorge Calvo Zaragoza

Jorge Calvo Zaragoza es Ingeniero en Informática y Doctor por la Universidad de Alicante en 2011 y 2016, respectivamente. Realizó estancias postdoctorales en McGill University (Montreal, Canadá) y en la Universitat Politècnica de València. Desde 2019, es profesor a tiempo completo en la Universidad de Alicante. Su línea de investigación versa sobre el desarrollo de técnicas de inteligencia artificial y visión por computador especialmente enfocadas al ámbito musical. Sobre esta temática ha publicado más de 60 artículos en revistas de alto impacto y congresos internacionales de prestigio. Ha participado como investigador en 8 proyectos nacionales y 2 proyectos a nivel europeo. Por su trayectoria investigadora, recibió en 2018 el premio nacional “Jóvenes Investigadores en Informática” concedido por la Sociedad Científica Informática de España y la Fundación BBVA.

Vídeos relacionados
Proyecto MultiScore: Conversión automática de fuentes musicales a partituras digitales