Cómo funcionan de verdad los modelos de vídeo con IA
Difusión, latentes, transformers y audio nativo en lenguaje llano: qué ocurre entre escribir un prompt y obtener un plano utilizable.
Consejos y trucos
Hábitos prácticos para el vídeo con IA: prompts por plano, referencias, prompts negativos, continuidad, iteración barata y selección honesta de tomas.

Toda herramienta de vídeo con IA se presenta de maravilla y falla de forma concreta. Los fallos no son aleatorios: se agrupan en manos, texto, multitudes, movimiento rápido, movimientos de cámara largos y cualquier cosa que deba permanecer igual de un plano al siguiente. Conseguir planos utilizables es sobre todo cuestión de planificar alrededor de esos grupos en lugar de esperar que el modelo haya aprendido por fin a dibujar dedos.
Estos son los hábitos que sobreviven al contacto con una fecha límite. Para la mecánica subyacente, lee cómo funcionan los modelos de vídeo con IA; para el oficio del prompt en general, las buenas prácticas de prompting profundizan más.
La unidad de generación es un plano, no una escena. Si escribes un párrafo de trama, el modelo intentará meterlo a la fuerza en unos segundos y producirá un embrollo. Escribe en cambio un solo dispositivo de cámara: quién o qué está en cuadro, qué hace, dónde está, cómo está iluminado, qué hace la lente.
La propia documentación de Luma para Ray2 da un orden útil para esto: sujeto principal, acción, detalles, escena, estilo, cámara, refuerzo. La guía multi-plano de Runway dice lo mismo con más franqueza: mantén el prompt de cada plano centrado en una sola escena, y si quieres una secuencia, entrega un plan de planos en lugar de una descripción desparramada.
Por eso también ayuda un storyboard aunque no se dibuje nada: una lista de tres a cinco puestas en escena, cada una con una sola acción, es una entrada mejor que un tratamiento.
El texto es la forma más débil de control. Si un personaje, un producto o una localización tienen que verse bien, dale al modelo una imagen de referencia o un primer fotograma. La mayoría de las herramientas serias lo admiten ya, y las notas de los propios proveedores coinciden en qué hace buena a una referencia:
Una advertencia que la documentación dice sin rodeos: eres responsable de los derechos de cualquier imagen de una persona que envíes. Usar la referencia de una persona real sin permiso es un problema legal antes que artístico.
Las generaciones tienden hacia la media de lo que el modelo ha visto, y por eso aparecen rostros no deseados en las multitudes y objetos sueltos en los bordes del cuadro. Los prompts negativos son la solución más barata. El propio ejemplo de la API de Veo de Google pasa un prompt negativo para suprimir sonidos no deseados junto al prompt positivo; la misma lógica funciona en lo visual.
Los movimientos grandes —grúa que sube y entra por una ventana, latigazo de panorámica, órbita alrededor de un objeto que cae— son donde se derrumba la consistencia temporal. Un acercamiento lento, una pequeña deriva a mano o un cuadro fijo se sostienen con mucha más fiabilidad, porque el movimiento generoso le da al modelo más fotogramas que equivocar.
El lenguaje de cámara sí funciona: los ejemplos publicados de Veo describen tamaños de plano, movimientos y comportamiento de lente en secuencia, y los resultados lo siguen. El truco es pedir un movimiento coherente, no tres en el mismo clip.
Genera al coste más bajo y la duración más corta que puedan responder a la pregunta «¿es este el plano correcto?». Los renders largos y caros son para planos que ya has demostrado. La API de Veo 3 se cobraba por segundo de salida, con niveles rápidos más baratos justo para este bucle; Ray2, de Luma, produce clips base cortos que se extienden, así que puedes juzgar un plano antes de pagar por la duración.
Fija la versión de tu modelo cuando un proyecto de cliente dependa de un look. La documentación de la API de Runway permite fijar una versión de flujo de trabajo con fecha en lugar de seguir la última, que es la diferencia entre un proceso reproducible y un blanco móvil.
La consistencia entre planos no es un problema de prompt; es un problema de proceso. Tres técnicas hacen casi todo el trabajo:
Una toma que se ve bien en movimiento a menudo muere en el corte. Revisa cada candidata por las cosas que terminan un plano: una mano que se derrite, una boca que se desincroniza, texto que se convierte en glifos, un extra que atraviesa una pared. Mírala una vez a velocidad normal y luego recorre el primer y el último fotograma: esos son tus puntos de entrada y salida.
Mantén una lista corta, no una favorita: la tercera toma con una cámara ligeramente distinta suele ser lo que el montaje necesita.
El audio nativo —diálogo, efectos y música generados con la imagen en una sola pasada— cambia el flujo de trabajo. Veo 3 fue el primer modelo de Google en hacerlo, y las recetas multi-plano ya generan audio por defecto. Es útil para pistas de referencia y pruebas de sincronizado labial.
Pero trata el audio generado como una primera pasada. La inteligibilidad del diálogo, el tono de sala y los derechos musicales siguen necesitando criterio humano, y un plano puede ser visualmente perfecto e inutilizable porque la frase sale distorsionada.
Dos cosas están convergiendo. Las plataformas etiquetan cada vez con más agresividad: YouTube aplica etiquetas destacadas al contenido de IA fotorrealista y ahora etiqueta automáticamente el contenido que sus sistemas detectan como significativamente generado por IA. La regulación también está llegando: el artículo 50 del Reglamento Europeo de IA exige a los proveedores marcar las salidas sintéticas en un formato legible por máquina y obliga a los responsables del despliegue a declarar los deepfakes cuando los usan.
El hábito práctico es sencillo. Conserva la procedencia —Content Credentials, el estándar C2PA, adjunta un registro firmado del origen y las ediciones a un archivo— y mantén un registro del proyecto con prompts, referencias, versiones de modelo y semillas. Cuando un cliente o un festival pregunte cómo se hizo un plano, ese registro es la respuesta.
El error más común es reescribir el prompt por décima vez. Si un plano falla repetidamente, el plano está pidiendo algo que el modelo no puede hacer de forma fiable. Divídelo en dos. Mueve la cámara. Corta antes de que ocurra la acción difícil. Pon el objeto fuera de foco. La restricción aquí no es un compromiso; es el oficio.