Varias de las cámaras de hoy en día cuentan con acceso a grabación a muchos cuadros por segundo que nos permiten conseguir espectaculares imágenes en cámara lenta. Sin embargo, la técnica mal hecha para obtener este efecto se basa en interpolar el material, lo que crea resultados no muy buenos, con saltos y una imagen con artefactos extraños. Sin embargo, con los desarrollos de inteligencia artificial de Google, la universidad de Jiao Tong de Shanghai y la universidad Merced de California, podemos transformar los cuadros por segundo de nuestro material para obtener imágenes en cámara lenta sin artefactos y de modo fluido.
En el mundo del vídeo, la interpolación de material a menor tasa de fotogramas en una línea de tiempo de mayor tasa genera resultados que se ven con saltos e imágenes movidas debido a que el software necesita repetir o intentar mezclar información para rellenar el espacio. En los software de edición actual, una forma de solucionar esto es realentizando y ajustando el software para interpretar ese ajuste con móvimiento de flujo óptico, lo que comienza a mezclar los cuadros con información y promediarlos para “simular” el movimiento en el espacio de cuadros vacios.
Sin embargo esta solución es poco efectiva al superar más de un 25% de estirar este material. Aquí es donde los algoritmos que crean la inteligencia artificial de DAIN entran en acción.
La IA de Google está compuesta de varios algoritmos que conforman cuatro elementos base de análisis entre fotogramas. El primero un análisis de estimación de fluidez que crea los mapas de flujo óptico. Le sigue una estimación de profundidad que crea mapas de profundidad de la información del cuadro. Paralelo a ellos dos hay un algoritmo que extrae las características contextuales del cuadro (estructura). Finalmente, hay un análisis de interpolación tipo Kernel que tiene los mapas de ajuste de cuadros.
Los algoritmos de flujo y profundidad crean una proyección de movimiento. Los algoritmos con la información de estructura y mapas de interpolación se mezclan en otro algoritmo que crea paquetes y une la información en un nuevo material que contiene los paquetes de mapas de profundidad, los paquetes de cuadros y los paquetes de estructura. Finalmente otro algoritmo genera la cadena de los fotogramas sintéticos que conforman la información entre cuadros originales.
El resultado de este proceso son vídeos en cámara lenta capaces de mantener fluidez natural. En el video de abajo se puede ver un ejemplo llevando material de 30fps a los 480 fps.
Esta IA está siendo utilizada junto a otras IA como la de Gigapixel para restaurar material antiguo y llevarlo a 4K a 60fps. Los resultados son impresionantes y nos dan una vista única al pasado.
Como reporta PetaPixel, quien desee usar esta tecnología puede ir al Patreon oficial del proyecto y conseguir una copia (los modelos más viejos están gratis, pero las actualizaciones se desbloquean siendo donadores de 10 dóalres en adelante). Eso sí, se necesita una muy buena GPU y procesador para el proceso de interpolación del vídeo. Si queréis conocer más sobre esta IA no dudéis en visitar la página oficial del proyecto.