El equipo de investigación de Adobe lanzó una tecnología que promete transformar el mundo de la edición de video. Con el nombre de VideoGigaGAN, esta herramienta de superresolución de video (VSR) permite convertir metrajes borrosos de baja resolución en imágenes HD nítidas y consistentes en el tiempo.
Tradicionalmente, los modelos de escalado de imagen enfrentan el desafío de mantener la consistencia temporal, lo que a menudo resulta en imágenes borrosas. Adobe superó este obstáculo utilizando un enfoque que integra un muestrario de imágenes a gran escala llamado GigaGAN.
Este último ha sido fundamental para entrenar el modelo VSR, empleando una red generativa adversarial diseñada inicialmente para la generación de imágenes estáticas de alta resolución.
No obstante, la aplicación directa de GigaGAN en videos resultaba en parpadeos indeseados. Para contrarrestar este efecto, Adobe implementó un módulo de propagación de características guiado por flujo recurrente que permite una mejor agregación de la información a través de los diferentes fotogramas del video.
Además, se han integrado bloques de suavizado para eliminar el parpadeo temporal y una lanzadera de alta frecuencia que adiciona detalles finos a los videos.
El resultado de estas innovaciones es un modelo VSR capaz de aumentar la resolución de los videos hasta en ocho veces respecto a su tamaño original, pasando de una resolución de 128 x 128 a una impresionante 1.024 x 1.024, sin sacrificar la consistencia temporal.
La investigación detrás de VideoGigaGAN fue publicada en el sitio web Arxiv.org, donde se detalla más a fondo el proceso y la tecnología utilizada en este modelo VSR.
