Así usa Cyberpunk 2077 la IA para que los personajes muevan los labios de forma sincronizada en 10 idiomas

   MADRID, 22 Oct. (Portaltic/EP) -

   El videojuego Cyberpunk 2077 ha utilizado un sistema de Inteligencia Artificial (IA) que permite generar animaciones multilingües, de manera que los personajes del juego pueden mover los labios de forma sincronizada en diez idiomas diferentes, incluido el español, todo ello de forma automática.

   El título del estudio polaco CD Projekt Red, que se lanzará el 19 de noviembre, hace uso de la tecnología desarrollada por la compañía de animación canadiense JALI, que se especializa en desarrollar soluciones para que los estudios de videojuegos puedan crear "animaciones faciales y de voz de alta calidad a escala y en varios idiomas", como informa JALI en su web.

   Como han mostrado JALI y CD Projekt Red en un vídeo publicado de forma previa a su participación en el evento de gráficos por ordenador Siggraph 2020, Cyberpunk 2077 utiliza la tecnología de sincronización facial para que los personajes del juego puedan mover los labios sincronizándolos con diez idiomas distintos: inglés, francés, ruso, polaco, portugués, japonés, chino mandarín, alemán, italiano y español.

   Este sistema integra la IA en los principios clásicos de la animación para lograr que el proceso de sincronización de labios resulte automático, algo que es posible utilizando diferentes motores gráficos tanto en videojuegos como en animación.

   En una centésima de segundo, el sistema utiliza una pista de audio, como la de un actor de doblaje, la convierte a texto y realiza un análisis del volumen, la cadencia de habla y una serie de parámetros adicionales determinados por la IA a través del aprendizaje automático de grandes cantidades de datos.

   A través de la IA, el sistema determina la posición de los labios, la lengua y la mandíbula necesaria para cada fonema, de manera que como resultado proporciona una animación sincronizada del personaje. Además, esta metodología permite mayor personalización que otras IA por parte de los desarrolladores según el videojuego, así como para añadir sonidos no contemplados inicialmente.

   La mayoría de sistemas de sincronización de labios actuales funciona independientemente de la expresión facial de los personajes. No obstante, la emoción afecta mucho al habla y al movimiento de los labios y la cara, y la herramienta de JALI incorpora esto.

Las soluciones de JALI son capaces no solo de animar los labios de los personajes, sino que facilitan también la expresión de todo el rostro: de los ojos (mediante guiños y movimiento de la mirada), las cejas o configuraciones personalizadas, por ejemplo para personajes no humanos y animales.

   Así, la Inteligencia Artificial de este sistema es capaz de personalizar las animaciones según el perfil del personaje -si es tranquilo o agresivo- así como en función de la emoción de la situación -si susurra o grita, por ejemplo- y de su destreza. Todo ello es automático pero también incluye configuraciones asimétricas que los desarrolladores pueden modificar también manualmente.

   Asimismo, aunque la web de JALI informa de que esta función está en fase beta, Cyperpunk 2077 ha empleado también una característica que permite animar el movimiento de cabeza y de cuello de los personajes, siguiendo los parámetros anteriores.