Para mí, uno de los aspectos positivos de la cuarentena fue que me impulsó a desarrollar nuevos proyectos utilizando los recursos que ya tenía a la mano. Además de ser programador creativo, me dedico a hacer filmación y grabación, pero debido a las medidas de distanciamiento social mi estudio y equipo estaban inactivos. Decidí darles uso y se me ocurrió trabajar en el desarrollo de un set virtual con realidad aumentada tomando en cuenta que muchas de las activaciones y experiencias que normalmente se llevan a cabo en vivo, comenzarían a hacerse de manera virtual.

Vi oportunidad en el hecho de que procesos que tradicionalmente se hacen en after effects o se modelan en 3D en post producción están siendo desplazados por nuevos paradigmas del render en tiempo real, así como por la facilidad de combinar sistemas de iluminación, kinect, 3D, partículas y elementos generados por plataformas como Notch o TouchDesigner.

Este set virtual es un sistema de realidad mixta. La diferencia entre realidad virtual, aumentada y mixta es que la primera permite al usuario sumergirse en un entorno completamente digital mientras que la realidad aumentada logra insertar elementos digitales en ambientes reales y finalmente la realidad mixta es la combinación de ambas en un sólo sistema, es decir permite la interacción de elementos virtuales y físicos en un mismo entorno. Por ejemplo, un escenario virtual utilizando, en este caso, un green screen, o en otros casos, muros de pantallas LED.

Este tipo de tecnología puede utilizarse para streaming o para generar una experiencia inmediata y accesible en la que los usuarios juegan e interactúan con los gráficos aumentados utilizando un tracker que haga la experiencia interactiva y en tiempo real. El sistema consta de una cámara y un convertidor que pasa la señal de la cámara hacia una plataforma como Unreal o Notch que después procesa el green screen y lo sustituye con un entorno 3D. Una vez procesada la imagen esta se puede enviar a otro sistema como Touchdesigner, vvvv u otro, que se encarga de ajustar detalles como iluminación en el set, corrección de color, sincronización con audio y otros detalles para lograr una escena con gran detalle de realismo.

La parte más desafiante es lograr este nivel de autenticidad. Conseguir que los elementos digitales 3D se integren a la perfección con los elementos análogos y que la iluminación real y la iluminación virtual armonicen y se confundan como una misma. Tuve que hacer muchas pruebas para lograr alinear las fuentes de luz real con las digitales, así como el tipo de lente, el ángulo de la toma, la temperatura del color e incluso las sombras que se proyectan en ambas versiones análogas y digitales.

Utilizo espejos convexos para calcular fuentes de luz, ángulos, temperatura, etc. y fotografía en 360 para integrar virtual y físicamente todas las luces, además del color checker para equilibrar los colores de las cámaras que se utilizan durante el proceso. Todo ese proceso fotográfico te permite integrar de manera física todo tu set antes de que se pase al software. Se planea lo que se quiere lograr y se lleva a cabo una labor audiovisual y solo hasta entonces viene el software. También experimenté con diferentes dispositivos de tracking de manera que el usuario no tenga que utilizar el mismo control que alguien más ya usó. Se puede rastrear la lámpara del celular de cada quien, por ejemplo.

Lo que me encanta de esta técnica es todo el trabajo fotográfico que se tiene que hacer previo al trabajo de software: planear el mood de la interacción, calcular planos y ángulos, hacer scouting de luces. Una vez que todos estos elementos están como lo tienes planeado, entonces ya cuentas con la información necesaria para comenzar a llenar esos datos virtualmente e indicarle al software qué temperatura tendrán los colores, cómo estará colocada la luz, etcétera. Te toma el mismo tiempo trabajar y terminar la parte física que la virtual.

Esta es una técnica que puede lograr resultados de una calidad muy alta y a un costo relativamente bajo, definitivamente más bajo que en cine. Existe ya toda la tecnología de grabación, de real-time, de tracking, de VR necesaria para crear ambientes virtuales interactivos que luzcan realistas y divertidos.

Armando Rodríguez es un artista visual y programador dedicado a desarrollar experiencias interactivas y multimedia. Su línea de trabajo abarca desde la imagen a partir de algoritmos generativos hasta el diseño de experiencias multisensoriales interactivas e inmersivas. Colabora desde el 2019 en Cocolab en Creative Coding y ha participado en proyectos como Star Collector, entre otros.