Mô hình video AI thực sự hoạt động thế nào

Bạn gõ một câu, chờ một hai phút, và một clip ngắn hiện ra: máy quay chuyển động, một gương mặt quay đi, mưa rơi. Kết quả trông như ảnh chụp, nhưng không có gì được chụp. Giữa câu văn và clip ấy là một chồng linh kiện đã học, và hiểu đại khái mỗi thứ làm gì sẽ thay đổi cách bạn viết prompt, cách bạn đánh giá một bản dựng tồi, và mức độ bạn tin một bản dựng tốt.

Đây không phải hướng dẫn cho một sản phẩm cụ thể. Đây là chuyến tham quan bằng ngôn ngữ bình dị qua cỗ máy mà phần lớn công cụ tạo video thương mại dùng chung — kèm lưu ý rằng các nhà cung cấp giữ kín chi tiết và lĩnh vực này thay đổi rất nhanh.

Nó bắt đầu bằng nhiễu, không bằng hình

Một mô hình khuếch tán được huấn luyện theo hai chiều. Trước hết, một ảnh thật bị phá hủy dần bằng cách thêm nhiễu cho đến khi không còn gì nhận ra được. Sau đó, một mạng nơ-ron được huấn luyện để đảo ngược sự phá hủy ấy, từng bước nhỏ một. Khi tạo sinh, quá trình chạy ngược: bắt đầu từ nhiễu thuần và khử nhiễu lặp đi lặp lại cho đến khi một ảnh hiện ra.

Đó là thiết kế mà Ho, Jain và Abbeel trình bày năm 2020, và nó giải thích nhiều điều về cách các công cụ này hành xử. Mô hình không truy xuất một ảnh từ thư viện. Nó đã học một phân phối về việc ảnh trông như thế nào, và nó bước đi từ ngẫu nhiên về phía một mẫu khả dĩ. Yêu cầu cùng một thứ hai lần, bạn nhận hai bản dựng khác nhau, vì nhiễu khởi đầu khác nhau. Mô hình cũng không có ký ức về lần thử trước của bạn; mỗi lần tạo sinh là một chuyến đi mới.

Phần lớn công việc diễn ra trong một không gian nhỏ hơn

Điểm ảnh ở độ phân giải đầy đủ rất tốn kém để tạo sinh, nên các hệ thống hiện đại hiếm khi làm việc ở mức điểm ảnh. Cách tiếp cận khuếch tán ẩn do Rombach và cộng sự giới thiệu nén một ảnh bằng bộ tự mã hóa đã được huấn luyện trước thành một biểu diễn ẩn gọn nhẹ, chạy quá trình khử nhiễu ở đó, rồi giải mã kết quả trở lại thành điểm ảnh. Cùng bài báo ấy bổ sung các lớp cross-attention, cơ chế cho phép một mô tả văn bản dẫn dắt việc khử nhiễu.

Hệ quả thực tế là sự phân công lao động: một mạng xử lý cấu trúc nén, một mạng khác xử lý ngôn ngữ, và một bộ giải mã làm phần kết xuất cuối cùng. Phần bạn tác động trực tiếp nhất — bộ mã hóa văn bản — nói với mô hình qua attention, chứ không qua những chỉ dẫn mà con người nhận ra.

Transformer chiếm phần giữa

Trong nhiều năm, bộ khử nhiễu là một U-Net. Peebles và Xie thay nó bằng một transformer vận hành trên các mảnh ẩn — Diffusion Transformer, hay DiT — và cho thấy chất lượng cải thiện một cách dự đoán được khi năng lực tính toán tăng lên. Từ đó, hầu hết các hệ thống lớn đều chuyển theo hướng này.

Một ví dụ được ghi chép kỹ về hướng đi này là Stable Diffusion 3, với bài báo mô tả việc huấn luyện bằng rectified flow, một công thức nối dữ liệu và nhiễu theo một đường thẳng hơn, cùng một kiến trúc transformer giữ trọng số riêng cho token hình ảnh và token văn bản trong khi để thông tin chảy theo cả hai chiều. Các tác giả báo cáo khả năng mở rộng có thể dự đoán trong phạm vi họ thử nghiệm.

Video thêm một chiều, và chiều đó rất tốn kém

Mở rộng khuếch tán từ ảnh sang video về mặt khái niệm thì đơn giản: dự đoán cùng loại nhiễu, nhưng cho một chuỗi khung hình. Ho và cộng sự làm đúng như vậy trong một bài báo năm 2022, huấn luyện đồng thời trên ảnh và video và báo cáo rằng sự pha trộn ấy làm giảm phương sai của các cập nhật huấn luyện và tăng tốc tối ưu hóa. Họ cũng giới thiệu lấy mẫu có điều kiện để mở rộng video trong không gian và thời gian — tổ tiên của quy trình mở rộng rồi nâng cấp độ phân giải mà bạn thấy trong các công cụ hiện nay.

Phần khó là sự mạch lạc theo thời gian. Từng khung hình có thể thuyết phục riêng lẻ trong khi cả chuỗi vẫn hỏng: một gương mặt trôi, một chiếc áo khoác đổi màu, một bàn tay tan vào nền. Thứ sửa được điều này là attention xuyên khung hình — mô hình phải nhìn thấy nhân vật ở cú máy một trong khi vẽ cú máy hai. Khi người ta nói về “temporal consistency” (nhất quán thời gian), đó là cơ chế họ muốn nói.

Prompt chỉ đến được mô hình qua ngôn ngữ

Văn bản được mã hóa thành các embedding và bộ khử nhiễu chú ý đến chúng trong khi vẽ. Đó là lý do những prompt nêu những thứ nhìn thấy được vượt trội những prompt nêu cảm xúc. “Một người đàn ông đang buồn” gần như không cho mô hình thứ gì để vẽ. “Một người đàn ông ngồi một mình ở bàn bếp, cúi đầu, ánh sáng lạnh từ cửa sổ bên trái, cú trung, máy cố định” cho nó một chủ thể, một cách dàn dựng, một ống kính và một không khí.

Nó cũng giải thích một nỗi bực thường gặp: mô hình không tuân theo chỉ dẫn như một ê-kíp quay phim vẫn làm. Nó đang được đẩy, từng khung hình, về phía một vùng trong phân phối huấn luyện của nó mà lời văn và ảnh tham chiếu của bạn chỉ tới.

Âm thanh giờ nằm trong mô hình

Cho đến gần đây, bạn tạo các clip câm rồi dựng âm thanh ở khâu hậu kỳ. Năm 2025, Veo 3 của Google trở thành mô hình video đầu tiên của công ty tạo sinh lời thoại, hiệu ứng âm thanh và nhạc đồng bộ với hình trong một lần chạy. Công thức multi-shot của Runway cũng mặc định tạo âm thanh. Âm thanh gốc thực sự là điều mới, và nó thay đổi cách hoạch định: một câu thoại nằm trong clip tạo sinh là một lựa chọn diễn xuất bạn đưa ra lúc viết prompt, không phải lúc dựng.

Nó cũng nâng mức yêu cầu: một cú máy có âm thanh gốc phải được đánh giá cả về khớp khẩu hình, tiếng nền phòng và độ rõ lời, chứ không chỉ vì khung hình đẹp.

Mô hình không phải là gì

Năm giới hạn đáng ghi nhớ, vì mỗi giới hạn ứng với một kiểu thất bại khác nhau bạn sẽ gặp trong thực tế:

• Không phải một engine vật lý. Nó dự đoán các điểm ảnh khả dĩ. Tiếp xúc, trọng lượng, vải và chất lỏng là thói quen đã học, không phải mô phỏng, nên vật thể rơi và bàn tay nắm vẫn hỏng.
• Không phải một chiếc máy quay. Ngôn ngữ máy quay hoạt động như một gợi ý, không phải một bảng hiệu lệnh. Hãy chuẩn bị tinh thần lặp lại động tác máy thay vì đặt một lần là xong.
• Không mang tính tất định. Cùng một prompt cho ra kết quả khác nhau. Khả năng tái lập nằm ở seed, ảnh tham chiếu cố định và phiên bản mô hình được ghim, không nằm ở câu chữ của bạn.
• Không phải một cơ sở dữ liệu. Nó không truy xuất được gương mặt diễn viên hay bối cảnh thật của bạn trừ khi bạn đặt điều kiện bằng ảnh tham chiếu hoặc khung hình đầu.
• Không phải một dịch vụ làm rõ quyền. Một mô hình vẽ được thứ gì đó không có nghĩa là nó cho bạn biết bạn có được dùng thứ đó hay không. Dữ liệu huấn luyện, hình ảnh cá nhân và quyền đối với kết quả là những câu hỏi riêng, có câu trả lời riêng.

Vì sao hiểu đường ống lại quan trọng trên phim trường

Khi đã nhìn pipeline như một chuỗi các giai đoạn đã học, quy trình sẽ tự hiện ra. Bạn đạo diễn cú máy thay vì cảnh, vì cú máy là đơn vị mô hình có thể giữ được. Bạn tạo nhiều biến thể rẻ rồi chọn, vì lấy mẫu là cách duy nhất để thấy phân phối. Bạn ghim ảnh tham chiếu cho bất cứ thứ gì phải tồn tại giữa các cú máy, vì nhất quán là một bài toán attention, không phải bài toán câu chữ.

Phiên bản thực dụng của bài viết này — cách viết cú máy, cấp cho mô hình những gì, cách sửa bản dựng mà bạn gần như đã có — nằm trong mẹo tạo sinh video AI. Về cách những kỹ thuật này xuất hiện trong tác phẩm hoàn chỉnh, xem hướng dẫn phim ngắn do AI tạo.