Usan la herramienta de ElevenLab para imitar la voz de celebridades y generar audios con discursos racistas

   MADRID, 31 Ene. (Portaltic/EP) -

   La 'startup' tecnológica ElevenLab ha alertado de los malos usos que ha detectado de su herramienta de clonación de voz, tras detectarse la suplantación de voces de famosos, que han llevado a la 'startup' tecnológica ha introducir mecanismos de seguridad adicionales.

   Durante el fin de semana se han detectado una serie de clips de audio aparentemente protagonizados por celebridades como Joe Rogan, Ben Sharpio y Emma Watson, con contenidos racistas y violentos.

   Según la investigación realizada por Motherboard, se trata de una serie de audios en cargados la plataforma 4Chan, que se han creado con la herramienta de inteligencia artificial de ElevenLab para que las voces suenan como las de los artistas.

   Este mal uso lo ha reconocido ElevenLab en una publicación en Twitter. "Si bien vemos que nuestra tecnología se aplica abrumadoramente al uso positivo, también vemos un número creciente de casos de uso indebido de clonación de voz".

   Desde la 'startup' aseguran que pueden rastrear cualquier audio generado con sus herramientas hasta el creador, ya que todos los clips tienen una marca de agua. Pero también han anunciado que implementarán una serie de medidas adicionales con las que esperan atajar el problema.

Crazy weekend - thank you to everyone for trying out our Beta platform. While we see our tech being overwhelmingly applied to positive use, we also see an increasing number of voice cloning misuse cases. We want to reach out to Twitter community for thoughts and feedback!

ElevenLabs (@elevenlabsio) January 30, 2023

   Por el momento se trata de ideas, pero se plantean solicitar una verificación de cuenta adicional para usar su herramienta de clonación de voz, como datos de pago o un documento oficial de identidad. También solicitar una muestra con texto para verificar los derechos de autor de la voz, y eliminar Voice Lab por completo y verificar manualmente cada solicitud de clonación.

   La compañía tecnológica tiene dos herramientas que permiten la clonación de voz: Instant Voice Cloning, dentro de Voice Lab, que solo necesita una muestra pequeña aunque ofrece menos calidad; y Professional Voice Cloning, que demanda más ejemplos de una persona concreta para poder reproducir su voz con fidelidad gracias a un modelo entrenado.

   La aparición de clips de audio que suplantan las voces de famosos profundiza en el potencial mal uso que se puede hacer de este tipo de herramientas basadas en la inteligencia artificial. Recientemente el modelo de lenguaje de OpenAI, ChatGPT, ha destacado por ser muy eficaz a la hora de generar textos coherentes y con una alta capacidad de redacción, no permitiendo en muchos casos distinguir si lo ha escrito una persona o si se ha recurrido a esta herramienta.

   Con anterioridad, las aplicaciones de 'deep fake', de manipulación de contenidos audioviduales, han generado alarma por el grado de realismo con el que la inteligencia artificial era capaz de suplantar a una persona y de engañar a quienes veían los vídeos.