영상 여섯 종류, 생성 모델 세 가지

2026년 9월 말, 저는 X에서 본 몇 가지 공유 글을 참고해 AI로 여섯 종류의 영상을 만들고, 각각 제작 노트도 썼습니다(링크는 글 끝에 있습니다). 각 영상은 해당 내용을 다루는 단락에 넣었습니다.

• 슬라이드 강의 영상: 웹 슬라이드에 컴퓨터 음성 내레이션을 더한 10분 23초 영상
• 손그림 화이트보드 영상: 프로그램이 선을 한 획씩 그리고, 제 목소리로 내레이션한 67초 영상
• 자기소개 영상: 프로그램으로 만든 움직이는 카드 이미지, 38초
• 캐릭터 애니메이션: 만화 캐릭터가 15초짜리 이야기를 연기하며, 음악 세 종류를 입혔습니다
• 비트에 맞춘 숏폼 영상: 음악 박자에 맞춰 화면이 바뀌는 58초 영상
• MV: Suno가 곡을 만들고 생성 모델이 춤을 만든 2분 영상

영상을 직접 생성하는 모델 세 가지, LTX-2.5, MiniMax H3, Seedance 2.5도 시험해 봤습니다.

지금 AI가 할 수 있는 일

코드를 작성하는 AI: 영상 한 편을 처음부터 끝까지

Claude Code, Codex처럼 코드를 작성하는 AI는 이제 영상 한 편을 처음부터 끝까지 만들 수 있습니다. 참고 글을 읽고, 대본과 그림을 그리는 코드를 쓰고, 이미지 생성 모델에 삽화를 그리게 하고, 작곡과 내레이션을 거쳐 영상을 출력합니다.

화이트보드 영상도 이렇게 만들었습니다. AI가 다른 사람이 쓴 글을 읽고 내레이션과 각 구간에 그릴 내용을 작성했습니다. 음성 모델(IndexTTS 2)이 제 목소리를 학습해 내레이션을 읽고, 프로그램이 화면을 한 프레임씩 그렸습니다.

작업을 나눌 수 있으면 AI가 동시에 진행할 수 있습니다. 슬라이드 강의 영상의 18개 장을 AI 6개가 나눠 만든 뒤 하나로 이어 붙였습니다.

생성 모델: 이미지 한 장이나 문장 하나로 5초 만들기

생성 모델은 코드를 쓰지 않고 화면을 직접 만듭니다. 첫 프레임으로 쓸 이미지 한 장을 주고 어떻게 움직일지 중국어 한 문장으로 설명하면 5초짜리 영상을 만들어 줍니다.

아래 영상 세 편은 모두 집에 있는 RTX 3090에서 실행했고, 소리도 함께 생성했습니다. 앞의 두 편은 같은 이미지와 같은 문장 “咬嘴唇 看左看右 手撩頭髮”(입술을 깨물고 좌우를 보며 손으로 머리카락을 쓸어 넘기기)를 사용한 LTX-2.5와 H3입니다. 세 번째는 H3에 다른 이미지와 문장 “慢慢抬起頭看向窗外,陽光灑在臉上,髮絲輕輕飄動”(천천히 고개를 들어 창밖을 보고, 햇살이 얼굴에 비치며 머리카락이 살짝 흩날리기)를 사용했습니다.

영상에서 가장 어려운 것은 장면의 일관성입니다. 같은 얼굴이 유지되고, 움직임이 자연스러우며, 조명이 갑자기 바뀌지 않아야 합니다. 앞의 두 영상에서 H3는 카메라가 움직이지 않고 얼굴도 그대로지만, LTX-2.5는 스스로 카메라를 앞으로 밀었고 몇 프레임에서 얼굴형과 머리색이 달라졌습니다.

첫 프레임을 주지 않아도 됩니다. Seedance 2.5에는 영어 문장 하나만 줬습니다. 햇살이 드는 서재에서 검은 고양이 집사가 홍차를 따르고, 카메라는 천천히 가까워지며, 도자기가 가볍게 부딪히는 소리가 들려야 한다는 내용입니다.

Grok은 영상을 생성할 때 기본적으로 배경 음악도 함께 만들며, 한 편은 10~15초입니다.

LTX-2.5와 H3는 공식 템플릿을 사용하고 기본 설정은 바꾸지 않았습니다. 제가 쓴 것은 그 중국어 문장 하나뿐입니다.

생성 모델은 한 번에 5~15초만 내놓으므로 여러 구간의 배경 음악을 자연스럽게 잇기 어렵습니다. 모델이 만드는 것은 영상 소스이고, 완성 영상은 프로그램으로 이어 붙여야 합니다.

할 수 없는 일

다음 다섯 가지에는 각각 문제를 드러내는 사례가 있습니다.

• 소리를 듣지 못합니다. 화이트보드 영상에는 문장마다 시작과 끝에 “딸깍” 소리가 나는데도 AI의 자동 검사는 모두 통과했습니다. 소리는 사람이 직접 듣거나 소리를 측정하는 전용 검사를 따로 작성해야 합니다
• 필요한 소스를 먼저 요청하지 않습니다. 자기소개 영상의 한 버전에는 이미지가 한 장도 없고 전부 코드로 그렸습니다. 참고한 원본에는 3D 이미지가 11장 있었습니다. AI는 “소스가 부족하면 보기 좋지 않을 것”이라고 말하지 않고 그대로 결과물을 냈습니다. 소스는 미리 준비해서 줘야 합니다
• AI 자신의 보고를 전부 믿을 수는 없습니다. 한 AI는 애니메이션 1개를 만들었다고 보고했지만, 다른 AI가 측정해 보니 0개였습니다. 다른 AI나 도구로 다시 측정해야 합니다
• 생성 모델은 그때 받은 것만 사용합니다. 춤을 생성할 때 노래를 주지 않으면 나중에 시간을 아무리 조정해도 바로잡을 수 없습니다. 춤 동작을 비트에 맞춰 옮기는 프로그램 두 개가 자체 테스트를 통과했지만 춤은 여전히 박자를 맞추지 못했습니다. 참고 영상을 주면 움직일 시점이 아니라 겉모습을 배웁니다. 비트에 맞춘 숏폼 영상에 원본 영상을 참고 자료로 주자 박자와 맞는 정도가 12배에서 6배로 떨어졌습니다(각각 한 편씩 제작)
• 기본값은 간체자와 중국 본토 표현입니다. 타이핑 장면은 기본적으로 병음을 쓰고 화면의 글자는 간체자로 나옵니다. 바꾸려면 명시해야 합니다

화면은 어떻게 움직이는가

영상은 이미지를 한 장씩 빠르게 바꿔 보여 주기 때문에 움직입니다. 영상마다 세 가지를 결정해야 합니다. 화면을 어디서 가져올지, 어떤 시간표를 따를지, 어떻게 파일로 출력할지입니다. 세 요소는 각각 섞어 쓸 수 있습니다.

화면은 어디서 가져오는가

화면에는 세 가지 출처가 있으며, 영상 한 편에 모두 사용할 수도 있습니다.

MV에는 세 가지를 모두 섞었습니다. Grok이 캐릭터를 그리고, H3와 Grok이 춤을 생성했습니다. Python으로 인물을 오려 낸 뒤 몸의 위치에 맞춰 선과 불꽃을 그리고, 박자에 맞춰 장면을 바꿨습니다.

자기소개 영상은 코드로 그린 사례입니다. 검은 고양이 캐릭터는 이미지 생성 모델이 그렸고, 카드 이미지의 위치와 크기, 투명도는 Remotion이 프레임마다 계산했습니다.

어떤 시간표를 따르는가

화면과 소리를 맞추려면 같은 시간표를 공유해야 합니다. 시간표의 출처는 네 가지입니다.

내레이션. 먼저 내레이션을 녹음하고 각 구간을 읽는 데 걸린 시간을 측정한 다음 그 시간 안에 화면을 배치합니다. 화이트보드 영상에서 획을 다 그릴 시간이 부족하면 다음 구간의 앞부분을 빌리고, 그래도 부족하면 구간 전체의 속도를 최대 3배까지 높였습니다. 화면을 소리에 맞춰 배치한 것이지, 나중에 편집해서 맞춘 것이 아닙니다.

직접 만든 비트 시간표. 비트에 맞춘 숏폼 영상은 분당 120박을 선택했습니다. 초당 30프레임이면 한 박이 정확히 15프레임이라 모든 박이 정수 프레임에 걸립니다. 하나의 비트 시간표가 효과음을 넣을 위치와 화면이 움직일 시점을 함께 결정합니다.

캐릭터 애니메이션의 모든 움직임도 분당 120박에 맞췄습니다. 그래서 애니메이션을 완성한 뒤 어떤 음악을 입혀도 맞습니다. 같은 15초 애니메이션에 세 가지 음악을 입혔습니다.

이미 있는 노래 한 곡. MV의 노래는 분당 134.5박에서 137.5박으로 서서히 변합니다. 일정한 간격의 프레임을 사용하면 오차가 점점 커지므로 프로그램으로 271개의 박자를 하나씩 찾아냈습니다.

생성한 춤이 이 노래의 박자에 맞으려면 생성할 때 모델에 노래를 줘야 합니다.

모델에 기본으로 포함된 배경 음악. Grok의 춤에는 Grok이 직접 만든 음악이 붙습니다. 박자를 맞출지는 운에 달려 있어 여러 구간을 생성하고 맞는 것을 골라야 합니다. 말하자면 여러 번 뽑는 방식입니다. 15초 이내의 짧은 영상이라면 인물만 오려 내어 배경을 바꿔도 됩니다.Gorden Sun은 바로 이렇게 영상 한 편을 만들었습니다. 더 긴 영상을 만들려면 구간마다 붙은 음악이 자연스럽게 이어지지 않으므로, 한 구간을 Suno에 넣어 완전한 노래로 확장하고 그 노래를 시간표로 삼을 수 있습니다.

파일로 어떻게 출력하는가

출력 방식은 두 가지뿐이며, 애니메이션이 어떤 시계를 따르는지에 달려 있습니다.

• 브라우저 시계를 따르기: 실시간 녹화만 가능합니다. CSS 애니메이션은 브라우저 자체 시간에 맞춰 실행되며 기다려 주지 않습니다. 슬라이드 강의 영상에서 한 프레임씩 캡처해 봤지만 너무 느렸고, 캡처 간격을 넓히자 움직이는 도중의 화면이 찍혔습니다. 결국 정상 속도로 녹화했습니다
• “지금 몇 번째 프레임인가”를 묻기: 프레임별로 계산할 수 있습니다. Remotion, Canvas, SVG, WebGL, Python의 화면은 모두 프로그램이 “지금 몇 번째 프레임인가”를 묻고 해당 프레임을 그립니다. 프레임끼리는 서로 독립적이므로 천천히 그려도 되고 브라우저 여러 개를 동시에 열어 나눠 그려도 됩니다

생성 모델이 만든 영상 구간은 프레임별 계산 단계에 소스로 들어갑니다. MV에서는 매 프레임에서 먼저 인물을 오려 내고 몸의 점 33개를 찾아 효과를 그렸습니다.

돈과 시간은 얼마나 드는가

비용: 생성은 초 단위, 코드로 그리는 영상은 AI 사용량 기준

영상 생성 가격을 초당 비용으로 환산하면 다음과 같습니다(2026년 9월).

Grok은 가격표대로라면 0.80달러지만 실제로는 1.41달러가 청구됐습니다. 차이가 난 이유는 확인하지 못했습니다.

2분짜리 MV를 모두 H3 유료 생성으로 만들면 약 9.6달러, 모두 Seedance로 만들면 약 29달러입니다. 이 MV는 자체 그래픽 카드와 Grok 구독으로 생성해 추가 비용이 들지 않았습니다.

코드로 그리는 영상은 초당 과금되지 않고, AI가 코드를 작성하는 데 사용한 양만큼 비용이 듭니다. MV 합성 프로그램을 만들기 전에 같은 사양으로 10초짜리 시험 영상을 만들었습니다. API 가격으로 환산하면 Codex는 약 1.14달러, Claude Code는 약 6.68달러를 사용했습니다. 평소처럼 구독 요금제를 쓰면 월정액에 포함됩니다.

전체 실험에서 따로 지불한 돈은 약 3.44달러입니다. Grok과 H3 유료 생성을 비교하는 데 쓴 2.25달러(캐릭터 이미지 한 장의 0.04달러 포함)에 Seedance의 1.19달러를 더한 금액입니다. 구독료, 그래픽 카드, 전기 요금은 포함하지 않았습니다.

시간: 출력 방식에 따라 달라집니다

• 실시간 녹화: 영상 길이만큼 녹화합니다. 10분 23초짜리 슬라이드 강의 영상은 10분 23초 동안 녹화했습니다
• 프레임별 계산: 프레임 수 × 프레임 하나를 그리는 시간 ÷ 동시에 연 브라우저 수로 계산합니다. 비트에 맞춘 숏폼 영상은 1755프레임을 브라우저 6개로 약 5분 만에 그렸습니다. 화이트보드 영상은 67초 분량을 브라우저 4개로 21초 만에 그렸습니다. 프레임 하나에 걸리는 시간은 그리는 방식에 따라 다릅니다. 캐릭터 애니메이션의 손그림 브러시는 M4 Mac에서 프레임당 0.27초가 걸렸고, 컴퓨터가 바쁠 때는 1.9초까지 늘어났습니다
• 생성: RTX 3090에서 5초짜리 구간을 만드는 데 LTX-2.5는 약 80초, H3는 약 110초가 걸렸습니다. Seedance는 클라우드에서 191초, H3 유료 API로 10초를 만드는 데는 약 3분 30초가 걸렸습니다

모두 같은 기기에서 한 번씩 측정한 수치이며, 컴퓨터에서 다른 작업을 동시에 실행하면 훨씬 느려집니다.

어떤 영상을 만들고 싶은가