Cómo funcionan de verdad los modelos de vídeo con IA

Escribes una frase, esperas un minuto o dos y aparece un clip corto: la cámara se mueve, un rostro gira, cae la lluvia. El resultado parece fotografía, pero no se fotografió nada. Entre la frase y el clip se interpone una pila de componentes entrenados, y saber a grandes rasgos qué hace cada uno cambia cómo escribes prompts, cómo juzgas una mala toma y cuánto confías en una buena.

Esto no es una guía de ningún producto concreto. Es un recorrido en lenguaje llano por la maquinaria que comparten la mayoría de los generadores de vídeo comerciales, con la advertencia de que los proveedores mantienen los detalles en privado y el campo avanza rápido.

Empieza con ruido, no con imágenes

Un modelo de difusión se entrena en dos direcciones. Primero, una imagen real se destruye progresivamente añadiendo ruido hasta que no queda nada reconocible. Después, una red neuronal aprende a deshacer esa destrucción paso a paso. En el momento de generar, el proceso va al revés: se parte de ruido puro y se elimina ruido repetidamente hasta que aparece una imagen.

Ese fue el diseño que plantearon Ho, Jain y Abbeel en 2020, y explica mucho del comportamiento de estas herramientas. El modelo no recupera una imagen de una biblioteca. Ha aprendido una distribución de cómo son las imágenes y camina desde la aleatoriedad hacia una muestra plausible. Pide lo mismo dos veces y obtendrás dos tomas distintas, porque el ruido inicial es diferente. El modelo tampoco tiene memoria de tu intento anterior; cada generación es un recorrido nuevo.

Casi todo el trabajo ocurre en un espacio más pequeño

Generar píxeles a resolución completa es caro, así que los sistemas modernos rara vez trabajan a nivel de píxel. El enfoque de difusión latente que introdujeron Rombach y sus colegas comprime una imagen con un autoencoder preentrenado en una representación latente compacta, ejecuta allí el proceso de eliminación de ruido y decodifica el resultado de vuelta a píxeles. El mismo artículo añadió capas de atención cruzada, el mecanismo que permite que una descripción de texto guíe la eliminación de ruido.

La consecuencia práctica es una división del trabajo: una red maneja la estructura comprimida, otra maneja el lenguaje y un decodificador hace el render final. La parte que controlas más directamente —el codificador de texto— habla con el modelo a través de la atención, no mediante instrucciones que un humano reconocería.

El transformer se hizo con el centro

Durante años el eliminador de ruido fue una U-Net. Peebles y Xie lo sustituyeron por un transformer que opera sobre parches latentes —el Diffusion Transformer, o DiT— y mostraron que la calidad mejoraba de forma predecible al aumentar el cómputo. Desde entonces, la mayoría de los sistemas grandes ha ido en esa dirección.

Un ejemplo bien documentado de hacia dónde llevó esto es Stable Diffusion 3, cuyo artículo describe un entrenamiento con flujo rectificado, una formulación que conecta datos y ruido por un camino más recto, y una arquitectura de transformer que mantiene pesos separados para los tokens de imagen y de texto mientras deja que la información fluya en ambos sentidos. Los autores reportan un escalado predecible dentro del rango que probaron.

El vídeo añade una dimensión, y la dimensión es cara

Extender la difusión de imágenes a vídeo es conceptualmente sencillo: predecir el mismo tipo de ruido, pero para una secuencia de fotogramas. Ho y sus colegas hicieron exactamente eso en un artículo de 2022, entrenando conjuntamente con imágenes y vídeo y reportando que la mezcla reducía la varianza de las actualizaciones de entrenamiento y aceleraba la optimización. También introdujeron el muestreo condicional para extender vídeo en el espacio y en el tiempo: el ancestro del flujo de extender y escalar que ves en las herramientas actuales.

La parte difícil es la coherencia en el tiempo. Cada fotograma puede ser convincente por separado y la secuencia puede fallar igualmente: un rostro se desvía, una chaqueta cambia de color, una mano se disuelve en el fondo. Lo que lo arregla es la atención entre fotogramas: el modelo tiene que ver al personaje en el plano uno mientras dibuja el plano dos. Cuando la gente habla de «consistencia temporal», se refiere a ese mecanismo.

El prompt solo llega al modelo a través del lenguaje

El texto se codifica en embeddings y el eliminador de ruido los atiende mientras dibuja. Por eso los prompts que nombran cosas visibles superan a los que nombran sentimientos. «Un hombre está triste» no le da casi nada que dibujar al modelo. «Un hombre solo ante una mesa de cocina, con la cabeza baja, luz fría de ventana desde la izquierda, plano medio, cámara fija» le da un sujeto, una puesta en escena, una lente y un ánimo.

También explica una frustración habitual: el modelo no sigue instrucciones como lo haría un equipo de cámara. Se le empuja, fotograma a fotograma, hacia una región de su distribución de entrenamiento a la que apuntan tus palabras y tus imágenes de referencia.

El sonido ya está dentro del modelo

Hasta hace poco se generaban clips mudos y la banda sonora se construía en posproducción. En 2025, Veo 3 de Google se convirtió en el primer modelo de vídeo de la compañía capaz de generar diálogo, efectos de sonido y música sincronizados con la imagen en una sola pasada. La receta multi-plano de Runway también genera audio por defecto. El audio nativo es genuinamente nuevo, y cambia la planificación: una línea hablada dentro de un clip generado es una decisión de interpretación que tomas al escribir el prompt, no en el montaje.

También sube el listón: un plano con sonido nativo debe juzgarse por el sincronizado de labios, el tono de sala y la inteligibilidad, no solo por lo bonito que es el cuadro.

Lo que el modelo no es

Vale la pena tener presentes cinco límites, porque cada uno corresponde a un fallo distinto que encontrarás en la práctica:

• No es un motor de física. Predice píxeles plausibles. El contacto, el peso, la tela y los fluidos son hábitos aprendidos, no simulación, y por eso los objetos que caen y las manos que agarran siguen rompiéndose.
• No es una cámara. El lenguaje de cámara funciona como sugerencia, no como hoja de instrucciones. Cuenta con iterar el movimiento en lugar de fijarlo a la primera.
• No es determinista. El mismo prompt da resultados distintos. La reproducibilidad vive en las semillas, las referencias fijas y las versiones de modelo ancladas, no en tu prosa.
• No es una base de datos. No puede recuperar el rostro de tu actor ni tu localización real a menos que lo condiciones con imágenes de referencia o un primer fotograma.
• No es un servicio de derechos. Que un modelo pueda dibujar algo no te dice si puedes usarlo. Los datos de entrenamiento, la imagen de las personas y los derechos sobre los resultados son cuestiones separadas, cada una con su propia respuesta.

Por qué la fontanería importa en el rodaje

Cuando ves el proceso como una secuencia de etapas entrenadas, el flujo de trabajo se deduce. Diriges planos en lugar de escenas, porque el plano es la unidad que el modelo puede sostener. Generas muchas variaciones baratas y eliges, porque el muestreo es la única forma de ver la distribución. Bloqueas referencias para todo lo que deba persistir entre planos, porque la consistencia es un problema de atención, no de redacción.

La versión práctica de este artículo —cómo escribir el plano, qué darle al modelo, cómo arreglar la toma que casi conseguiste— está en los consejos de generación de vídeo con IA. Para ver cómo aparecen estas técnicas en obras terminadas, consulta la guía de cortos generados con IA.