Ciudad de México.- Meta anunció un nuevo avance en Inteligencia Artificial. Se trata de Voicebox, un modelo generativo de voz el cual se basa en un nuevo método propuesto por Meta IA llamado Flow Matching.

De acuerdo con el comunicado de Meta, este modelo generativo de IA ayuda a la edición, samplig y estilización de audio. Además, en un futuro ayudará “a los creadores a editar fácilmente pistas de audio, permitir a las personas con discapacidad visual escuchar los mensajes escritos de sus amigos en sus voces y que las personas se comuniquen en cualquier idioma extranjero usando su propia voz”, señaló la compañía de Mark Zuckerberg.

¿Cómo funcionará?

Voicebox nace con el propósito de darle un nuevo enfoque a la generación de voz. Y es que muchos de los sintetizadores de voz que existen en la actualidad dan salidas de audio monótonas, algo que Meta está dispuesto a cambiar.

Con el uso del método de Flow Matching, el cual ha mejorado los modelos de difusión, Meta busca que Voicebox pueda “entrenarse con datos más diversos y una escala de datos mucho mayor”, además de tener variaciones de voz que rompan con este esquema del habla monótono.

Al respecto, Meta explica que se capacitó a “Voicebox con más de 50 mil horas de voz grabada y transcripciones de audiolibros de dominio público en inglés, francés, español, alemán, polaco y portugués. Voicebox está entrenado para predecir un segmento de voz cuando se le da el habla circundante y la transcripción del segmento. 

“

Habiendo aprendido a rellenar el habla a partir del contexto, el modelo puede aplicar esto en las tareas de generación de voz, incluida la generación de partes en medio de una grabación de audio sin tener que volver a crear la entrada completa”.

Es decir que se trata de un modelo totalmente distinto a los sintetizadores de voz que ya conocemos y el cual brindará una experiencia de habla mucho más natural. Además, que en un futuro puede llegar a beneficiar a varios sectores de la sociedad.

Modelo multitareas

– Síntesis de contexto de texto a habla: Utilizando una muestra de audio de tan solo un par de segundos, Voicebox puede adaptar el estilo de audio y utilizarlo para la generación de texto a habla.

– Edición de habla y reducción de ruido: Una de las tareas es mejorar el audio eliminando el ruido del exterior o sustituyendo palabras que el hablante pronunció de manera inadecuada, esto sin tener que volver a grabar de nuevo el discurso.

– Transferencia de estilo entre idiomas: Tendrá la capacidad de producir el habla en seis idiomas diferentes, incluso si la muestra del habla y el texto no se encuentran en el mismo idioma.