En los últimos años, hemos visto avances impresionantes en los modelos de lenguaje. Estos modelos pueden generar imágenes a partir de texto con facilidad.

Pero, ¿qué pasa con los videos?

Generar una secuencia coherente de imágenes en movimiento con audio es un desafío mayor. Aquí es donde entra en juego VideoPoet, una innovadora técnica desarrollada por el equipo de Google Research.

¿Qué es VideoPoet?

VideoPoet es una técnica que convierte cualquier modelo de lenguaje autoregresivo en un generador de video de alta calidad. Utiliza un tokenizador de video llamado MAGVIT V2 y un tokenizador de audio llamado SoundStream. Estos transforman imágenes, video y audio en una secuencia de códigos discretos. Estos códigos son compatibles con los modelos de lenguaje y permiten predecir el siguiente token de video o audio.

¿Cómo se diferencia VideoPoet?

VideoPoet se distingue de otras técnicas por su enfoque de aprendizaje multimodal. Durante el entrenamiento, se establecen objetivos como la generación de texto a video e imagen, la continuación de frames de video, el relleno y la ampliación de áreas de video, y la generación de audio a partir de video¹. Esto permite generar videos de alta calidad simplemente con texto, imágenes o videos de entrada.

¿Por qué es importante VideoPoet?

VideoPoet demuestra que los modelos de lenguaje pueden sintetizar y editar videos de manera consistente y con un alto nivel de detalle en el movimiento generado¹. Alcanza un estado del arte en la generación de videos con escenas complejas y de alta fidelidad simplemente con texto¹. Representa una forma sencilla de lograr generación multimodal mediante el aprendizaje autoregresivo.

Quédate con este concepto.

VideoPoet es una herramienta poderosa y versátil para la generación de videos de alta calidad¹. Puede ser una herramienta valiosa para la industria creativa, con aplicaciones en la generación de videos publicitarios, la creación de contenido para redes sociales y la producción de películas. Si quieres saber más sobre esta novedosa técnica, puedes visitar el sitio web de Google Research.