Exclusivo: vea el estreno mundial de la IA

Exclusivo: mira el estreno mundial del cortometraje generado por IA The Frost.

The Frost clava su vibra extraña y desconcertante en sus primeras tomas. Vastas montañas heladas, un campamento improvisado de tiendas de campaña de estilo militar, un grupo de personas acurrucadas alrededor de una fogata, perros ladrando. Es algo familiar, pero lo suficientemente extraño como para plantar una semilla creciente de temor. Hay algo mal aquí.

"Pásame la cola", dice alguien. Corte a un primer plano de un hombre junto al fuego mordiendo un trozo de cecina rosa. es grotesco La forma en que sus labios se mueven no es del todo correcta. Por un momento parece como si estuviera mordiéndose su propia lengua congelada.

Bienvenido al inquietante mundo de la creación de películas con IA. "Llegamos a un punto en el que dejamos de luchar contra el deseo de precisión fotográfica y comenzamos a inclinarnos hacia la rareza que es DALL-E", dice Stephen Parker de Waymark, la empresa de creación de videos con sede en Detroit detrás de The Frost.

The Frost es una película de 12 minutos en la que cada toma es generada por una IA de creación de imágenes. Es uno de los ejemplos más impresionantes y extraños hasta ahora de este extraño género nuevo. Puede ver la película a continuación en una revelación exclusiva de MIT Technology Review.

Para hacer The Frost, Waymark tomó un guión escrito por Josh Rubin, un productor ejecutivo de la compañía que dirigió la película, y se lo pasó al modelo de creación de imágenes DALL-E 2 de OpenAI. Después de algunas pruebas y errores para lograr que el modelo produjera imágenes en un estilo con el que estaban contentos, los cineastas utilizaron DALL-E 2 para generar cada toma. Luego usaron D-ID, una herramienta de inteligencia artificial que puede agregar movimiento a imágenes fijas, para animar estas tomas, haciendo que los ojos parpadeen y los labios se muevan.

"Construimos un mundo a partir de lo que DALL-E nos estaba devolviendo", dice Rubin. "Es una estética extraña, pero la recibimos con los brazos abiertos. Se convirtió en el aspecto de la película".

"Esta es sin duda la primera película de IA generativa que he visto donde el estilo se siente consistente", dice Souki Mehdaoui, cineasta independiente y cofundador de Bell & Whistle, una consultora especializada en tecnologías creativas. "Generar imágenes fijas y manipularlas con títeres le da un ambiente divertido de collage".

The Frost se une a una serie de cortometrajes realizados con diversas herramientas de IA generativa que se han estrenado en los últimos meses. Los mejores modelos de video generativo aún pueden producir solo unos segundos de video. Por lo tanto, la cosecha actual de películas exhibe una amplia gama de estilos y técnicas, que van desde secuencias de imágenes fijas similares a guiones gráficos, como en The Frost, hasta mezclas de muchos videoclips diferentes de segundos de duración.

En febrero y marzo, Runway, una empresa que fabrica herramientas de inteligencia artificial para la producción de videos, organizó un festival de cine de inteligencia artificial en Nueva York. Los aspectos más destacados incluyen el PLSTC de otro mundo de Laen Sanches, una secuencia vertiginosa de extrañas criaturas marinas envueltas en plástico generadas por el modelo de creación de imágenes Midjourney; la onírica Given Again de Jake Oleson, que utiliza una tecnología llamada NeRF (campos de radiación neuronal) que convierte fotos 2D en objetos virtuales 3D; y la nostalgia surrealista de Expanded Childhood de Sam Lawton, una presentación de diapositivas de viejas fotos familiares de Lawton que consiguió que DALL-E 2 extendiera más allá de sus fronteras, permitiéndole jugar con los detalles medio recordados de viejas fotografías.

Lawton le mostró las imágenes a su padre y registra su reacción en la película: "Algo anda mal. No sé qué es eso. ¿Simplemente no lo recuerdo?".

Los artistas suelen ser los primeros en experimentar con nuevas tecnologías. Pero el futuro inmediato del video generativo está siendo moldeado por la industria de la publicidad. Waymark creó The Frost para explorar cómo la IA generativa podría integrarse en sus productos. La compañía fabrica herramientas de creación de videos para empresas que buscan una forma rápida y económica de hacer comerciales. Waymark es una de varias empresas emergentes, junto con firmas como Softcube y Vedia AI, que ofrecen anuncios de video personalizados para clientes con solo unos pocos clics.

La tecnología actual de Waymark, lanzada a principios de año, reúne varias técnicas diferentes de inteligencia artificial, incluidos modelos de lenguaje grandes, reconocimiento de imágenes y síntesis de voz, para generar un anuncio de video sobre la marcha. Waymark también se basó en su gran conjunto de datos de comerciales no generados por IA creados para clientes anteriores. "Tenemos cientos de miles de videos", dice el director ejecutivo Alex Persky-Stern. "Tomamos lo mejor de ellos y lo entrenamos en cómo se ve un buen video".

Para utilizar la herramienta de Waymark, que ofrece como parte de un servicio de suscripción por niveles a partir de $25 al mes, los usuarios simplemente proporcionan el nombre y la ubicación de la empresa. La herramienta comienza raspando los sitios web y las cuentas de redes sociales de esa empresa en busca de texto e imágenes. Luego usa esos datos para generar un comercial, usando GPT-3 de OpenAI para escribir un guión que una voz sintetizada lee en voz alta sobre imágenes seleccionadas que resaltan el negocio.

Se puede generar un comercial elegante de un minuto de duración en segundos. Los usuarios pueden editar el resultado si lo desean, modificando el guión, editando imágenes, eligiendo una voz diferente, etc. Waymark dice que más de 100,000 personas han usado su herramienta hasta ahora. (Puede ver uno de los comerciales generados por IA de Waymark aquí).

El problema es que no todas las empresas tienen un sitio web o imágenes de las cuales sacar provecho, dice Parker. "Un contador o un terapeuta pueden no tener activos en absoluto", dice.

La próxima idea de Waymark es usar IA generativa para crear imágenes y videos para empresas que aún no tienen ninguno, o que no quieren usar los que tienen. "Ese es el impulso detrás de hacer The Frost", dice Parker. "Crea un mundo, una vibra".

The Frost tiene una vibra, seguro. Pero también es jorobado. "Todavía no es un medio perfecto de ninguna manera", dice Rubin. "Fue un poco difícil obtener ciertas cosas de DALL-E, como respuestas emocionales en los rostros. Pero en otros momentos, nos deleitaba. Decíamos: 'Oh, Dios mío, esto es magia que sucede ante nuestros ojos. .'"

Este proceso impredecible mejorará a medida que la tecnología mejore. DALL-E 2, que Waymark usó para hacer The Frost, se lanzó hace apenas un año. Las herramientas de generación de video que generan clips cortos solo existen desde hace unos meses.

El aspecto más revolucionario de la tecnología es poder generar nuevas tomas cuando las desees, dice Rubin: "Con 15 minutos de prueba y error, obtienes la toma que deseas que encaja perfectamente en una secuencia". Recuerda haber cortado la película y haber necesitado tomas particulares, como un primer plano de una bota en la ladera de una montaña. Con DALL-E, simplemente podría llamarlo. "Es alucinante", dice. "Fue entonces cuando comenzó a ser una experiencia realmente reveladora como cineasta".

Chris Boyle, cofundador de Private Island, una empresa nueva con sede en Londres que hace videos de formato corto, también recuerda sus primeras impresiones de los modelos de creación de imágenes el año pasado: "Tuve un momento de vértigo cuando pensé: 'Esto va a cambia todo.'"

Boyle y su equipo han realizado comerciales para una variedad de marcas globales, incluidas Bud Light, Nike, Uber y Terry's Chocolate, así como videos cortos en juegos para títulos de gran éxito como Call of Duty.

Private Island ha estado usando herramientas de IA en la posproducción durante algunos años, pero aumentó durante la pandemia. "Durante el confinamiento estábamos muy ocupados, pero no podíamos filmar de la misma manera que antes, así que comenzamos a inclinarnos mucho más hacia el aprendizaje automático en ese momento", dice Boyle.

La empresa adoptó una variedad de tecnologías que facilitan la posproducción y los efectos visuales, como la creación de escenas 3D a partir de imágenes 2D con NeRF y el uso del aprendizaje automático para extraer datos de captura de movimiento de imágenes existentes en lugar de recopilarlos desde cero.

Pero la IA generativa es la nueva frontera. Hace un par de meses, Private Island publicó un comercial de cerveza falso en su cuenta de Instagram que se produjo utilizando el modelo de creación de videos Gen-2 de Runway y el modelo de creación de imágenes Stable Diffusion de Stability AI. Se convirtió en un éxito viral de combustión lenta. Llamado Verano sintético, el video muestra una típica escena de fiesta en un patio trasero donde gente joven y despreocupada se relaja y bebe sus bebidas bajo el sol. Excepto que muchas de estas personas tienen agujeros abiertos en lugar de bocas, sus latas de cerveza se hunden en sus cabezas cuando beben y el patio trasero está en llamas. Es un espectáculo de terror.

"Lo miras inicialmente, es solo una cosa americana muy genérica, en el medio del camino", dice Boyle. "Pero tu cerebro posterior o lo que sea está diciendo, 'Uf, todas sus caras están al revés'".

"Nos gusta jugar con el uso del propio medio para contar la historia", dice. "Y creo que 'Synthetic Summer' es un gran ejemplo porque el medio en sí mismo es muy espeluznante. Visualiza algunos de nuestros miedos sobre la IA".

¿Es este el comienzo de una nueva era en el cine? Las herramientas actuales tienen una paleta limitada. Tanto Frost como "Synthetic Summer" aprovechan los puntos fuertes de la tecnología que los creó. Frost se adapta bien a la estética espeluznante de DALL-E 2. "Synthetic Summer" tiene muchos cortes rápidos, porque las herramientas de generación de video como Gen-2 producen solo unos pocos segundos de video a la vez que luego deben unirse. Eso funciona para una escena de fiesta donde todo es caótico, dice Boyle. Private Island también consideró hacer una película de artes marciales, donde los cortes rápidos se adaptan al tema.

Esto puede significar que comenzaremos a ver videos generativos utilizados en videos musicales y comerciales. Pero más allá de eso, no está claro. Aparte de los artistas experimentales y algunas marcas, no hay muchas otras personas que lo usen todavía, dice Mehdaoui.

El estado constante de flujo también es desagradable para los clientes potenciales. "He hablado con muchas empresas que parecen interesadas pero se resisten a poner recursos en proyectos porque la tecnología está cambiando muy rápido", dice. Boyle dice que muchas empresas también desconfían de las demandas en curso sobre el uso de imágenes con derechos de autor en los conjuntos de datos utilizados para entrenar modelos como Stable Diffusion.

Nadie sabe con seguridad hacia dónde se dirige esto, dice Mehdaoui: "Hay muchas suposiciones que se lanzan como dardos en este momento, sin una gran cantidad de consideraciones matizadas detrás de ellas".

Mientras tanto, los cineastas continúan experimentando con estas nuevas herramientas. Inspirándose en el trabajo de Jake Olseon, quien es amigo de ella, Mehdaoui está utilizando herramientas de IA generativa para hacer un documental corto para ayudar a desestigmatizar el trastorno por uso de opioides.

Waymark está planeando una secuela de The Frost, pero no se vende en DALL-E 2. "Yo diría que es más una especie de 'mira este espacio'", dice Persky-Stern. "Cuando hagamos el próximo, probablemente usaremos alguna tecnología nueva y veremos qué puede hacer".

Private Island también está experimentando con otras películas. A principios de este año realizó un video con guión producido por ChatGPT e imágenes producidas por Stable Diffusion. Ahora está trabajando en una película que es un híbrido, con actores de acción real vestidos con trajes diseñados por Stable Diffusion.

"Estamos muy interesados ​​en la estética", dice Boyle, y agrega que es un cambio de las imágenes dominantes en la cultura digital, que se ha reducido al emoji y al efecto de falla. "Es muy emocionante ver de dónde vendrá la nueva estética. La IA generativa es como un espejo roto de nosotros".

"De repente cambié mi punto de vista sobre si estas cosas van a ser más inteligentes que nosotros".

Hinton hablará en EmTech Digital el miércoles.

ChatGPT ha provocado especulaciones sobre la inteligencia artificial general. Pero la próxima fase real de la IA será en dominios y contextos específicos.

Vea a Hinton hablar con Will Douglas Heaven, editor senior de IA de MIT Technology Review, en EmTech Digital.

Descubra ofertas especiales, noticias destacadas, próximos eventos y más.

¡Gracias por enviar su correo electrónico!

Parece que algo salió mal.

Estamos teniendo problemas para guardar sus preferencias. Intente actualizar esta página y actualícelas una vez más. Si continúa recibiendo este mensaje, comuníquese con nosotros en [email protected] con una lista de boletines que le gustaría recibir.