Como os modelos de vídeo com IA realmente funcionam

Você digita uma frase, espera um minuto ou dois e um clipe curto aparece: a câmera se move, um rosto se vira, a chuva cai. O resultado parece fotografia, mas nada foi fotografado. Entre a frase e o clipe há uma pilha de componentes treinados, e saber aproximadamente o que cada um faz muda como você escreve prompts, como julga um take ruim e quanto confia num take bom.

Este não é um guia de nenhum produto específico. É um passeio em linguagem simples pela maquinaria que a maioria dos geradores de vídeo comerciais compartilha — com a ressalva de que os fornecedores mantêm os detalhes em sigilo e o campo avança rápido.

Começa com ruído, não com imagens

Um modelo de difusão é treinado em duas direções. Primeiro, uma imagem real é destruída progressivamente pela adição de ruído até que nada reconhecível reste. Depois, uma rede neural aprende a desfazer essa destruição um passo pequeno por vez. Na hora de gerar, o processo roda ao contrário: parte do ruído puro e remove ruído repetidamente até uma imagem aparecer.

Esse foi o desenho proposto por Ho, Jain e Abbeel em 2020, e ele explica muito do comportamento dessas ferramentas. O modelo não recupera uma imagem de uma biblioteca. Ele aprendeu uma distribuição de como as imagens são e caminha da aleatoriedade em direção a uma amostra plausível. Peça a mesma coisa duas vezes e você terá dois takes diferentes, porque o ruído inicial é outro. O modelo também não tem memória da sua tentativa anterior; cada geração é uma caminhada nova.

A maior parte do trabalho acontece num espaço menor

Gerar pixels em resolução completa é caro, então os sistemas modernos raramente trabalham no nível do pixel. A abordagem de difusão latente introduzida por Rombach e colegas comprime uma imagem com um autoencoder pré-treinado numa representação latente compacta, executa ali o processo de remoção de ruído e decodifica o resultado de volta em pixels. O mesmo artigo acrescentou camadas de atenção cruzada, o mecanismo que permite que uma descrição de texto conduza a remoção de ruído.

A consequência prática é uma divisão de trabalho: uma rede cuida da estrutura comprimida, outra cuida da linguagem e um decodificador faz o render final. A parte que você influencia mais diretamente — o codificador de texto — conversa com o modelo por meio da atenção, não por instruções que um humano reconheceria.

O transformer tomou o meio

Durante anos o removedor de ruído foi uma U-Net. Peebles e Xie o substituíram por um transformer que opera sobre patches latentes — o Diffusion Transformer, ou DiT — e mostraram que a qualidade melhorava de forma previsível conforme o poder de computação aumentava. Desde então a maioria dos sistemas grandes seguiu nessa direção.

Um exemplo bem documentado de onde isso chegou é o Stable Diffusion 3, cujo artigo descreve treinamento com fluxo retificado, uma formulação que conecta dados e ruído por um caminho mais reto, e uma arquitetura de transformer que mantém pesos separados para tokens de imagem e de texto enquanto deixa a informação fluir nos dois sentidos. Os autores relatam escalonamento previsível dentro do intervalo que testaram.

O vídeo acrescenta uma dimensão, e a dimensão é cara

Estender a difusão de imagens para vídeo é conceitualmente simples: prever o mesmo tipo de ruído, mas para uma sequência de quadros. Ho e colegas fizeram exatamente isso num artigo de 2022, treinando em conjunto com imagens e vídeo e relatando que a mistura reduzia a variância das atualizações de treinamento e acelerava a otimização. Também introduziram a amostragem condicional para estender vídeo no espaço e no tempo — o ancestral do fluxo de estender e escalar que você vê nas ferramentas atuais.

A parte difícil é a coerência no tempo. Cada quadro pode ser convincente isoladamente e a sequência ainda assim falhar: um rosto se desvia, uma jaqueta muda de cor, uma mão se dissolve no fundo. O que corrige isso é a atenção entre quadros: o modelo precisa ver o personagem no plano um enquanto desenha o plano dois. Quando as pessoas falam de «consistência temporal», é esse mecanismo que querem dizer.

O prompt só chega ao modelo pela linguagem

O texto é codificado em embeddings e o removedor de ruído os atende enquanto desenha. É por isso que prompts que nomeiam coisas visíveis superam prompts que nomeiam sentimentos. «Um homem está triste» não dá quase nada para o modelo desenhar. «Um homem sozinho diante de uma mesa de cozinha, cabeça baixa, luz fria de janela vindo da esquerda, plano médio, câmera estática» dá a ele um sujeito, uma encenação, uma lente e um clima.

Isso também explica uma frustração comum: o modelo não segue instruções como uma equipe de câmera faria. Ele é empurrado, quadro a quadro, para uma região da sua distribuição de treinamento que suas palavras e imagens de referência apontam.

O som agora está dentro do modelo

Até há pouco tempo, geravam-se clipes mudos e a trilha sonora era construída na pós-produção. Em 2025, o Veo 3 do Google se tornou o primeiro modelo de vídeo da empresa a gerar diálogo, efeitos sonoros e música sincronizados com a imagem numa única passada. A receita multi-plano da Runway também gera áudio por padrão. Áudio nativo é genuinamente novo, e muda o planejamento: uma fala dentro de um clipe gerado é uma escolha de atuação que você faz na hora do prompt, não na montagem.

Também eleva o padrão: um plano com som nativo precisa ser julgado pela sincronia labial, pelo tom de sala e pela inteligibilidade, não só pela beleza do quadro.

O que o modelo não é

Vale manter cinco limites em mente, porque cada um corresponde a um tipo diferente de falha que você vai encontrar na prática:

• Não é um motor de física. Ele prevê pixels plausíveis. Contato, peso, tecido e fluidos são hábitos aprendidos, não simulação, e é por isso que objetos caindo e mãos que agarram ainda quebram.
• Não é uma câmera. A linguagem de câmera funciona como sugestão, não como mapa de instruções. Espere iterar o movimento em vez de acertá-lo de primeira.
• Não é determinístico. O mesmo prompt dá resultados diferentes. A reprodutibilidade mora em seeds, referências fixas e versões de modelo travadas, não na sua prosa.
• Não é um banco de dados. Ele não consegue recuperar o rosto do seu ator ou a sua locação real a menos que você o condicione com imagens de referência ou um primeiro quadro.
• Não é um serviço de licenciamento. Um modelo capaz de desenhar algo não diz se você pode usá-lo. Dados de treinamento, imagem das pessoas e direitos sobre os resultados são questões separadas, cada uma com sua própria resposta.

Por que o encanamento importa no set

Quando você vê o processo como uma sequência de etapas treinadas, o fluxo de trabalho se deduz. Você dirige planos em vez de cenas, porque o plano é a unidade que o modelo consegue sustentar. Gera muitas variações baratas e escolhe, porque a amostragem é a única forma de ver a distribuição. Trava referências para tudo o que precisa persistir entre planos, porque consistência é um problema de atenção, não de redação.

A versão prática deste artigo — como escrever o plano, o que dar ao modelo, como consertar o take que você quase conseguiu — está nas dicas de geração de vídeo com IA. Para ver como essas técnicas aparecem em obras prontas, consulte o guia de curtas gerados com IA.