AI 영상 모델은 실제로 어떻게 작동할까

문장을 입력하고 1~2분 기다리면 짧은 클립이 나타난다: 카메라가 움직이고, 얼굴이 돌아가고, 비가 내린다. 결과물은 사진처럼 보이지만 아무것도 촬영되지 않았다. 문장과 클립 사이에는 학습된 구성요소의 층이 있고, 각각이 대략 무엇을 하는지 알면 프롬프트를 쓰는 방식, 나쁜 테이크를 판단하는 방식, 좋은 테이크를 얼마나 믿을지가 달라진다.

이 글은 특정 제품의 가이드가 아니다. 대부분의 상용 영상 생성기가 공유하는 기계 장치를 쉬운 말로 둘러보는 것이다 — 단, 공급업체는 세부를 비공개로 두고 이 분야는 빠르게 움직인다는 점을 전제로 한다.

그림이 아니라 노이즈에서 시작한다

확산 모델은 두 방향으로 학습된다. 먼저 실제 이미지에 노이즈를 더해 알아볼 수 없을 때까지 점진적으로 파괴한다. 그다음 신경망이 그 파괴를 작은 단계로 하나씩 되돌리도록 학습된다. 생성 시에는 과정이 거꾸로 흐른다: 순수한 노이즈에서 시작해 이미지가 나타날 때까지 반복적으로 노이즈를 제거한다.

2020년 Ho, Jain, Abbeel이 제시한 설계가 이것이며, 이 도구들이 행동하는 방식의 많은 부분을 설명한다. 모델은 라이브러리에서 이미지를 가져오지 않는다. 이미지가 어떻게 생겼는지에 대한 분포를 학습했고, 무작위성에서 그럴듯한 표본을 향해 걸어간다. 같은 것을 두 번 요청하면 서로 다른 두 테이크를 얻는다. 시작 노이즈가 다르기 때문이다. 모델은 이전 시도에 대한 기억도 없다. 모든 생성은 새로운 산책이다.

대부분의 작업은 더 작은 공간에서 일어난다

전체 해상도 픽셀은 생성 비용이 비싸서 현대 시스템은 픽셀 수준에서 거의 작업하지 않는다. Rombach와 동료들이 도입한 잠재 확산 접근은 사전 학습된 오토인코더로 이미지를 압축된 잠재 표현으로 만들고, 그곳에서 노이즈 제거를 실행한 뒤 결과를 픽셀로 복원한다. 같은 논문은 텍스트 설명이 노이즈 제거를 조종하게 하는 메커니즘인 교차 어텐션 층도 추가했다.

실무적 결과는 분업이다: 한 네트워크는 압축된 구조를, 다른 네트워크는 언어를 다루고, 디코더가 최종 렌더를 맡는다. 당신이 가장 직접적으로 영향을 주는 부분 — 텍스트 인코더 — 은 인간이 알아볼 지시가 아니라 어텐션을 통해 모델과 대화한다.

트랜스포머가 중간을 차지했다

수년간 노이즈 제거기는 U-Net이었다. Peebles와 Xie는 이를 잠재 패치에서 작동하는 트랜스포머 — Diffusion Transformer, 즉 DiT — 로 바꾸고, 컴퓨트가 늘수록 품질이 예측 가능하게 향상됨을 보였다. 이후 대부분의 대형 시스템이 그 방향으로 이동했다.

이 흐름이 어디로 갔는지 잘 기록된 예가 Stable Diffusion 3다. 논문은 데이터와 노이즈를 더 곧은 경로로 연결하는 공식인 rectified flow로 학습하고, 이미지 토큰과 텍스트 토큰에 별도 가중치를 두면서 정보가 양방향으로 흐르게 하는 트랜스포머 구조를 설명한다. 저자들은 시험한 범위에서 예측 가능한 스케일링을 보고한다.

영상은 차원을 하나 더하고, 그 차원은 비싸다

확산을 이미지에서 영상으로 확장하는 것은 개념적으로 간단하다: 같은 종류의 노이즈를 예측하되 프레임 시퀀스에 대해 예측한다. Ho와 동료들은 2022년 논문에서 정확히 그렇게 했고, 이미지와 영상을 함께 학습하면 학습 업데이트의 분산이 줄고 최적화가 빨라진다고 보고했다. 그들은 또한 공간과 시간에서 영상을 확장하기 위한 조건부 샘플링을 도입했다 — 지금 도구에서 보는 확장 후 업스케일 워크플로의 조상이다.

어려운 부분은 시간에 걸친 일관성이다. 각 프레임이 개별적으로 설득력 있어도 시퀀스는 실패할 수 있다: 얼굴이 흐트러지고, 재킷 색이 바뀌고, 손이 배경으로 녹아든다. 이를 고치는 것이 프레임을 가로지르는 어텐션이다 — 모델은 두 번째 숏을 그리면서 첫 숏의 인물을 봐야 한다. 사람들이 “시간적 일관성”이라고 말할 때 그 메커니즘을 뜻한다.

프롬프트는 언어를 통해서만 모델에 닿는다

텍스트는 임베딩으로 인코딩되고 노이즈 제거기는 그리면서 그것에 어텐션한다. 그래서 보이는 것을 지목하는 프롬프트가 감정을 지목하는 프롬프트보다 성능이 좋다. “한 남자가 슬프다”는 모델에게 그릴 것을 거의 주지 않는다. “부엌 식탁에 혼자 앉아 고개를 숙인 남자, 왼쪽 창문에서 들어오는 차가운 빛, 미디엄 숏, 고정 카메라”는 피사체, 배치, 렌즈, 분위기를 준다.

흔한 좌절도 설명한다: 모델은 촬영팀처럼 지시를 따르지 않는다. 프레임마다 당신의 말과 참조 이미지가 가리키는 학습 분포의 한 영역으로 조금씩 밀려나는 것이다.

사운드는 이제 모델 안에 있다

최근까지는 무음 클립을 생성하고 후반에서 사운드트랙을 만들었다. 2025년 Google의 Veo 3는 한 번의 패스로 대사, 음향 효과, 음악을 화면과 동기화해 생성한 회사의 첫 영상 모델이 되었다. Runway의 멀티 숏 레시피도 기본적으로 오디오를 생성한다. 네이티브 오디오는 진짜로 새로운 것이며 계획을 바꾼다: 생성된 클립 안의 대사는 편집이 아니라 프롬프트 시점에 내리는 연기 선택이다.

기준도 높인다: 네이티브 사운드가 있는 숏은 프레임이 얼마나 예쁜지가 아니라 립싱크, 룸 톤, 명료도로 판단해야 한다.

모델이 아닌 것

다섯 가지 한계를 기억할 가치가 있다. 각각이 실무에서 만나게 될 서로 다른 실패에 대응하기 때문이다:

• 물리 엔진이 아니다. 그럴듯한 픽셀을 예측한다. 접촉, 무게, 천, 유체는 학습된 습관이지 시뮬레이션이 아니어서 떨어지는 물체와 움켜쥐는 손은 여전히 깨진다.
• 카메라가 아니다. 카메라 언어는 큐시트가 아니라 제안으로 작동한다. 한 번에 설정하려 하지 말고 무브를 반복할 것을 예상한다.
• 결정론적이지 않다. 같은 프롬프트가 다른 결과를 낸다. 재현성은 시드, 고정된 참조, 고정된 모델 버전에 있지 당신의 산문에 있지 않다.
• 데이터베이스가 아니다. 참조 이미지나 첫 프레임으로 조건을 주지 않는 한 배우의 얼굴이나 실제 장소를 가져오지 못한다.
• 권리 정리 서비스가 아니다. 무언가를 그릴 수 있는 모델이 그것을 사용해도 되는지 알려 주지는 않는다. 학습 데이터, 초상, 결과물 권리는 각자의 답을 가진 별개의 질문이다.

왜 배관을 아는 것이 촬영장에서 중요한가

파이프라인을 학습된 단계의 연속으로 보면 워크플로가 따라온다. 장면이 아니라 숏을 연출한다. 숏이 모델이 붙잡을 수 있는 단위이기 때문이다. 값싼 변주를 많이 생성하고 고른다. 샘플링만이 분포를 볼 수 있는 방법이기 때문이다. 숏 사이에 지속되어야 하는 모든 것에는 참조를 고정한다. 일관성은 문구의 문제가 아니라 어텐션의 문제이기 때문이다.

이 글의 실용판 — 숏을 쓰는 법, 모델에 무엇을 먹이는지, 거의 얻은 테이크를 고치는 법 — 은 AI 영상 생성 팁에 있다. 이 기법들이 완성된 작업에서 어떻게 나타나는지는 AI 생성 단편 영화 가이드를 보라.