Con un poco de imaginación, se puede llegar a intuir cómo sería escribir una partitura en un folio, hacer una foto con el móvil y escuchar cómo suena. O que se puede ver directamente la partitura de cualquier canción descargada (por ejemplo, en formato mp3). Para estas aplicaciones, la fuente musical debe traducirse a un formato de partitura digital (como el que se muestra en la Figura 1), que pueda ser procesado por un ordenador. Sin embargo, actualmente solo es posible obtener una partitura digital de forma manual utilizando un programa de edición de partituras.

El reconocimiento óptico de música (OMR) y la transcripción automática de música (AMT) son los campos de investigación que buscan la forma de convertir automáticamente imágenes de partituras y grabaciones de audio, respectivamente, en partituras digitales. En la actualidad, existe una amplia variedad de enfoques que tratan de resolver estas cuestiones, pero sus resultados están lejos de ser fiables.

El proyecto Multimodal Transcription of Music Scores (MultiScore) propone el uso de modelos de inteligencia artificial que aprenden a través de grandes volúmenes de datos a resolver las tareas de OMR y AMT. MultiScore busca la mejor forma de obtener estos datos, filtrarlos y prepararlos para que puedan ser utilizados por estos modelos. Del mismo modo, se desarrollan formulaciones comunes para ambos procesos, de modo que los campos de investigación no se abordan por separado, sino que puedan resolverse de modo similar, creando sinergias entre ellos y facilitando la transferencia de conocimiento.

Los modelos resultantes de MultiScore, proyecto financiado por la Agencia Estatal de Investigación (AEI), permitirán que cualquier usuario suba una imagen y/o un archivo de audio a una aplicación y pueda descargar la transcripción de música resultante en distintos formatos de partitura digital. El usuario también podrá modificar la salida del sistema para corregir posibles errores de transcripción a través de un editor en línea, permitiendo así retroalimentar los modelos y continuar mejorando su precisión de manera continua.

Desarrollar modelos fiables para la transcripción de fuentes musicales tiene implicaciones prácticas para los compositores, directores e intérpretes, ya que reducen los costes de digitalización de partituras y, por lo tanto, llevan los beneficios de los formatos digitales a su práctica diaria. Por ejemplo, utilizando los sistemas del equipo investigador, un usuario podría cantar una melodía, tocar un instrumento o fotografiar una partitura existente e inmediatamente obtener, reproducir, escuchar y compartir la partitura digital resultante (ver Figura 2). Además, la transcripción de fuentes musicales a formato digital puede enriquecer el patrimonio musical de las bibliotecas, haciendo sus contenidos mucho más accesibles. Esto amplía el alcance de la musicología a composiciones para las que solo está disponible la fuente escrita o una grabación sonora, que es probablemente la mayoría de los casos cuando se habla de patrimonio musical histórico.