Investigadores de la Universidad de Alicante están desarrollando una herramienta basada en Inteligencia Artificial (IA) de transcripción de partituras medievales. Lo están haciendo dentro del proyecto europeo Repertorium (Researching and Encouraging the Promulgation of European Repertory through Technologies Operating on Records Interrelated Utilising Machines), cuyo objetivo es preservar el patrimonio musical europeo y crear tecnologías de procesamiento de sonido de última generación, incluido audio inmersivo listo para el metaverso.

El profesor del departamento de Lenguajes y Sistemas Informáticos Jorge Calvo dirige el equipo de la UA responsable de la creación de un OMR (Reconocimiento Óptico de Música, en sus siglas en inglés) que devolverá a la vida a más de 4.000 piezas de canto gregoriano, que no han visto la luz durante más de 1.000 años. En total se va a trabajar con 400.000 imágenes de manuscritos antiguos.

El OMR permite extraer la información de los manuscritos digitalizados, tal como la melodía, letra, tipo de rito litúrgico o posición en el ciclo litúrgico. En el contexto de Repertorium es un gran reto científico debido a que la IA no tiene sólo que entender los símbolos de la notación musical sino también reconocer el texto de las obras e interpretar de manera automática cómo debe ser cantado.

Una vez el ordenador es capaz de procesar imágenes de partituras y comprenderlas, se puede transcribir el contenido de las obras de manera eficiente y precisa a un formato de partitura digital, permitiendo después aplicar todo tipo de tecnologías digitales para llevar a cabo los objetivos del proyecto, explica la institución académica en un comunicado.

El proyecto comenzó su andadura el pasado mes de enero y se desarrollará durante tres años. Repertorium está formado por un consorcio cuyos miembros provienen de ocho países y es coordinado por la Escuela Politécnica Superior de Linares de la Universidad de Jaén. Entre los socios, además, se encuentran la Universidad de Oxford, el Instituto Complutense de Ciencias Musicales, la Asociación Hispana para el Estudio del Canto Gregoriano, la Universidad Politécnica de Milán, la Universidad de Tampere, la empresa de marketing creativo VIST.CO de Hamburgo, el desarrollador Spork Digital del Reino Unido, la Asociación Francesa Musicologie Médiévale, la Orquesta Filarmónica Nacional de Lituania y el desarrollador de tecnología cultural Odratek.

El departamento de Lenguaje y Sistemas Informáticos de la Universidad de Alicante cuenta con los mejores expertos en Reconocimiento Óptico de Música del mundo. «Somos los líderes mundiales en OMR», asegura el profesor Calvo, quien cuenta que uno de los retos de este proyecto es que al mismo tiempo se va aplicar OCR (Reconocimiento Óptico de Caracteres) de forma que se transcribirá el texto y las notas con el fin de establecer la relación entre ambos. Los cantos catalogados serán publicados en bibliotecas digitales para difundir este contenido, hasta ahora accesible tan solo a un reducido número de expertos.

Estas 400.000 imágenes provienen del archivo del Taller de Paleografía Musical de la Abadía de Solesmes (Francia). Una vez digitalizadas, se almacenarán en DIAMM, la plataforma abierta de la Universidad de Oxford, especializada en la catalogación de imágenes de manuscritos musicales antiguos. Por otra parte, la información relativa a la catalogación (metadatos) se indexará en el portal de la Asociación Medieval Music Manuscripts Online (MMMO), accesible en abierto. Ambos sistemas estarán interconectados entre sí para evitar duplicidades, asegurar la consistencia y facilitar la labor de consulta.

El proyecto sentará las bases tecnológicas sobre el proceso de catalogación de los archivos musicales utilizando, entre otras, técnicas de Inteligencia Artificial, que quedarán disponibles, en código abierto, para que se puedan aplicar a otros archivos históricos musicales.

Experiencia inmersiva en conciertos

Además, otra vertiente se centrará en desarrollar tecnologías que permitan una completa experiencia inmersiva en conciertos de música clásica, de forma que el usuario pueda interactuar con la orquesta con fines lúdicos o educativos. Esta tecnología, además, será accesible para las orquestas, de forma que el público pueda interactuar en conciertos inmersivos a través de plataformas tecnológicas y de realidad virtual, e impulsar así el desarrollo de nuevos mercados en streaming y la captación de nuevas audiencias.

Repertorium dará a conocer las tecnologías desarrolladas en ciclos de conferencias y ferias, además de elaborar material educativo y una serie de publicaciones para su difusión. Asimismo, en su etapa final, el proyecto ofrecerá varios conciertos y una ópera para que el usuario pueda experimentar toda esta tecnología en la práctica. También se impartirán talleres en conservatorios y escuelas de música.