Un generador de letras con conexión emocional para música en vivo

   MADRID, 5 Jul. (EUROPA PRESS) -

   Investigadores de la Universidad de Waterloo han desarrollado LyricJam, un sistema computacional avanzado que puede generar letras para música instrumental en vivo.

   Este sistema, presentado en un documento que se presentará en la Conferencia Internacional sobre Creatividad Computacional y ha sido prepublicado en arXiv, podría ayudar a los artistas a componer nuevas letras que combinen bien con la música que crean.

   "Siempre he tenido un gran amor por la música y un interés en aprender sobre los procesos creativos detrás de algunas de mis canciones favoritas", dijo a TechXplore Olga Vechtomova, una de las investigadoras que llevó a cabo el estudio. "Esto me llevó a investigar sobre música y letras y cómo el aprendizaje automático podría usarse para diseñar herramientas que inspirarían a los artistas musicales".

   Vechtomova y sus colegas han estado realizando investigaciones centradas en la generación de letras durante algunos años. Inicialmente, desarrollaron un sistema que puede aprender características o aspectos específicos del estilo lírico de un artista, mediante el análisis de grabaciones de audio de sus canciones y letras que compusieron en el pasado. Luego, este sistema utiliza la información recopilada en sus análisis para generar letras que están alineadas con el estilo de un artista en particular.

   Más recientemente, los investigadores también comenzaron a investigar la posibilidad de generar letras para clips de audio de música instrumental grabada. En su nuevo estudio, intentaron dar un paso adelante, desarrollando un sistema que puede generar letras adecuadas para música en vivo.

   "El objetivo de esta investigación fue diseñar un sistema que pueda generar letras que reflejen el estado de ánimo y las emociones expresadas a través de varios aspectos de la música, como acordes, instrumentos, tempo, etc.", dijo Vechtomova. "Nos propusimos crear una herramienta que los músicos pudieran usar para inspirarse para escribir sus propias canciones".

   Esencialmente, Vechtomova y sus colegas se propusieron crear un sistema que pudiera procesar música en vivo sin procesar interpretada por un músico individual o una banda y generar letras que coincidan con las emociones expresadas por la música. Los artistas podrían entonces revisar estas letras generadas e inspirarse en ellas o adaptarlas, descubriendo así nuevos temas interesantes o ideas líricas que no habían considerado antes.

   "El escenario que imaginamos es de un sistema de inteligencia artificial que actúa como un socio co-creativo con un músico", explicó Vechtomova. "Desde la perspectiva del usuario, la aplicación LyricJam es muy simple: un artista musical reproduce música en vivo y el sistema muestra líneas de letras que genera en tiempo real en respuesta a la música que escucha. Las líneas generadas se guardan durante la sesión, para que el artista pueda mirarlos después de que terminen de tocar".

   El sistema creado por los investigadores funciona convirtiendo archivos de audio sin procesar en espectrogramas y luego utilizando modelos de aprendizaje profundo para generar letras que coinciden con la música que procesaron en tiempo real. La arquitectura del modelo se compone de dos autocodificadores variacionales, uno diseñado para aprender representaciones de audio musical y el otro para aprender letras.

   Vechtomova y sus colegas diseñaron luego dos nuevos mecanismos que alinean las representaciones de la música y las letras procesadas por los dos codificadores automáticos. En última instancia, estos mecanismos permiten que su sistema aprenda qué tipos de letras van bien con una música instrumental en particular.