Nvidia crea una IA que ajusta la mirada del interlocutor en dirección a la cámara y traduce voz en tiempo real

   MADRID, 12 Ene. (Portaltic/EP) -

Nvidia ha desarrollado una tecnología de Inteligencia Artificial (IA), Maxine, que es capaz de ajustar la mirada de los hablantes para que dirijan sus ojos a la cámara, emular la posición de los ojos y los parpadeos, así como traducir la voz en tiempo real durante una videoconferencia.

   La compañía ha informado de que Nvidia Maxine es un conjunto de kits de desarrollo de 'software' (SDK), que pertenece a Nvidia AI Enterprise, una biblioteca de programas que incluye flujos de trabajo, soluciones de IA y modelos de aprendizaje preeentrenados.

   Según Nvidia, este trabajo permite a los desarrolladores implementar "características premium de realidad aumentada, tanto en el audio como en la calidad del vídeo", tal y como detalla en su página web.

   En ella también sostiene que Maxine incluye funciones de IA "aceleradas y optimizadas para la inferencia en tiempo real en las GPU", lo que resulta en efectos de audio, vídeo y realidad aumentada (RA) de baja latencia con una gran resistencia de red. También ofrece una serie de efectos basados en IA en el apartado de Audio Effects Microservice.

De este modo, esta solución elimina el ruido y el eco de la habitación y logra un sonido con una resolución de alta calidad. A nivel de vídeo, Video Effects Microservice ofrece efectos como el fondo virtual durante las videollamadas y permite mantener el contacto visual.

En cuanto al SDK de efectos de vídeo, desde la compañía subrayan que Nvidia Maxine es capaz de conseguir "una superresolución", ya que preserva la textura de las imágenes con una calidad que multiplica hasta por cuatro y conserva sus detalles en condiciones de baja iluminación.

   El hecho de que esta herramienta permite mantener los ojos mirando a cámara es una de las características más destacadas de la IA de Nvidia. Maxine simula el contacto visual del interlocutor con la lente, ya que estima y alinea su mirada con la cámara. Además, emula la forma de los ojos, su posición y el parpadeo.

   Esta característica, integrada en el SDK de RA, ofrece un seguimiento de rostros en 3D en tiempo real y también estima la postura del cuerpo para medir sus interacciones reales y duplicarlas en la pantalla en tiempo real.

   La IA de Nvidia integra una actualización con un modelo mejorado, incluye una nueva pose de cabeza de seis grados de libertad (DOF). Además, muestrea rasgos y contornos del rostro con 126 puntos de reconocimiento facial.

   Para la estimación de la pose corporal, en cambio, esta tecnología de Nvidia rastrea 34 puntos clave del cuerpo humano tanto en dos dimensiones (2D) como de forma tridimensional (3D).

Otra característica que la compañía ha destacado de esta IA es su capacidad para traducir voz en tiempo real. Así, esta tecnología promete "superar las barreras del lenguaje" y puede pasar de un idioma a otro tan pronto como termine una frase.

Tal y como sugiere el vídeo promocional de Maxine, por el momento soporta inglés, español, francés y alemán, aunque no ha matizado si puede traducir en tiempo real más idiomas.