AI로 MV 만들기: 춤을 생성할 때 노래를 들려줘야 박자에 맞춰 춘다

2분짜리 MV 한 편. 노래와 캐릭터, 춤 모두 AI가 만들었다. 춤이 박자에 맞는지는 AI가 춤을 생성할 때 노래를 들었는지에 달려 있다 처음에는 이렇게 말했다. “누가 누구를 대체하려는 게 아니야. 가능한 방법을 일단 전부 시도해 보고 돈, 시간, 결과를 비교하자.” 비교를 마치고는 “Suno가 만든 영상을 합쳐 2분짜리 MV를 만들 수 있을까?”라고 다시 물었다 어떻게 하는지, 누가 하는지 Grok이 캐릭터 전신 그림을 한 장 그렸다. 배경은 녹색으로 해서 나중에 인물을 잘라내기 쉽도록 했다 Suno로 “弾けろ HIBANA”라는 곡을 만들었다. 무료 크레딧을 썼다 춤 영상은 총 12개 부분으로 구성되어 있습니다. 그중 7개 부분은 MiniMax H3를 사용하여 집의 그래픽 카드에서 생성되었으며, 각 부분은 약 5분 정도입니다. 나머지 5개 부분은 Grok 구독 플랜을 통해 생성되었습니다. Codex는 합성 프로그램을 쓰고, Claude Code는 사양을 쓰고 마지막에 검수했다 Codex가 처음부터 다시 검토해서 실제 오류 4개를 찾아냈다 AI는 원래 H3 유료 버전을 사용할 것을 권장했는데, 2분당 약 9.6달러 정도였습니다. 저는 집에 있는 그래픽 카드와 Grok 구독을 선택했기 때문에 MV 자체에는 별도 비용이 들지 않았습니다. 화면이 어떻게 움직이나요? 두 단계로 나뉩니다: 춤 동작: 프로그램으로 만든 게 아니라, H3가 직접 생성한 영상입니다. 생성할 때 그 부분의 노래도 함께 넣었습니다. 특수 효과와 편집: 파이썬으로 한 프레임씩 계산하며, 초당 24프레임을 처리합니다. 먼저 캐릭터를 오려낸 뒤, 몸의 33개 지점을 찾아내고, 몸에 따라 움직이는 선과 불꽃을 그린 다음, 박자에 맞춰 컷을 전환합니다. 노래의 템포가 분당 134.5 박자에서 서서히 137.5 박자로 올라가기 때문에, 프로그램은 고정된 격자 없이 271개의 박자를 하나씩 찾아냅니다. 같은 그림으로 세 가지 방법으로 춤을 만들어내기 방법 춤에 사용한 음악 춤이 박자에 맞나? Grok (사용량 기반 과금) 우리의 노래는 만들어질 때 Grok이 듣지 못했습니다 없음 Grok (구독 플랜) 우리의 노래는 만들어질 때 Grok이 듣지 못했습니다 없음 MiniMax H3 우리 노래도 생성할 때 함께 넣어 줬다 있음 (7개 단락 중 4개 단락에서 뚜렷함) Grok, 기본 제공되는 배경 음악과 함께 Grok이 직접 만든 것 운에 따라, 여러 개를 만들어 보고 그중에서 골라야 합니다 (10개 중 1개). 두 가지 Grok 생성 방식 모두 자체 배경음악이 포함되지만, MV에는 우리 노래를 써야 한다. 자체 배경음악은 아래의 'Grok에 기본으로 포함된 배경 음악도 소재로 활용할 수 있습니다' 항목을 참고하세요. 박자에 맞는지는 눈으로 보는 것이 아니라 통계적 방법으로 측정한다. AI는 어디까지 할 수 있을까 할 수 있다 사양부터 생성, 인물 배경 제거, 효과, 검수까지 끝까지 해냈다 Codex가 검토하면서 실제 오류 4개를 찾아냈다. 예를 들어 10초짜리 무음을 분당 139.5박자로 측정한 오류가 있었다 MV 전에 10초짜리 시험 영상을 만들었다. 같은 사양으로 Codex와 Claude Code가 각각 한 편씩 만들었고, 둘 다 검수를 통과했다 다른 사람의 도움이 더 필요해 음악을 듣지 않고 생성된 춤은 나중에 어떻게 해도 고칠 수 없다: Claude Code와 Codex가 각각 한 개의 프로그램을 작성해 춤 동작을 박자에 맞췄고, 둘 다 자체 테스트를 통과했지만 춤은 여전히 박자에 맞지 않았다 H3라고 해도, 뮤직비디오의 7개 구간 중 4개 구간에서만 박자를 확실히 맞추고 있다 H3가 지시와 달리 녹색 배경을 쓰지 않아서 AI로 배경을 지워야 했다 박자를 측정하는 도구가 분당 136박자를 74박자로 측정했는데, 나중에야 고쳐졌다 “일부 장면에서 골격 효과를 끄지 않았네”라고 알아챈 뒤, 후렴구 각 구절의 시작에서 2박자 동안만 빛나게 고쳤다 Grok에 기본으로 포함된 배경 음악도 소재로 활용할 수 있습니다 Grok으로 동영상을 생성할 때 CLI로 가든 API로 가든 기본적으로 배경음악까지 함께 생성되는데, 다만 한 번에 십여 초 정도밖에 안 됩니다(저희는 10초와 15초 두 가지를 생성해 보았습니다). 여러 구간을 생성하면 각 구간의 배경음악이 각각 독립되어 있어서 이어 붙일 수가 없습니다. 하지만 자료로 쓰기에는 충분합니다: 15초 이내의 짧은 영상: '초록색 배경 + 자체 배경음악' 클립을 그대로 누끼 따고 배경을 바꾸기만 하면 영상 하나가 완성된다. Gorden Sun은 그렇게 영상을 하나 만들었다. Grok이 15초짜리 원본 영상을 생성하고, Opus 5.5가 누끼, 레이아웃, 편집을 맡았다. 더 긴 영상: 그중 한 부분의 오디오 파일을 Suno에 올려서 완전한 노래 한 곡으로 확장한 다음, 이 노래를 영상 전체의 타임라인으로 사용한다 춤이 클립에 기본으로 딸려 온 음악의 박자에 맞는지는 운에 달렸다. 박자가 맞는 구간을 원하면 여러 개를 생성한 뒤 골라야 한다. 뽑기와 비슷하다. MV를 만들 때 Grok으로 생성한 5개 구간에도 각각 음악이 있었다. 나중에 15초짜리 4개를 더 만들고 이전의 시험 구간 하나까지 합쳐 총 10개를 각자의 음악에 맞춰 측정해 보니, 박자가 확실히 맞는 건 1개뿐이었다. Gorden Sun의 원본 영상은 측정 결과 박자가 맞았다 시연 영상에는 박자가 맞았던 바로 그 한 구간을 썼다. 배경을 지우고 코드로 만든 배경과 글자 카드, 손의 움직임을 따라가는 선을 덧입혔다. 글자 카드는 클립 자체 음악의 박자에 맞춰 움직이며, 길이는 10초다 각 구간이 겨우 10~15초에 불과해서, Grok이 만든 곡은 빠른 박자인지 느린 박자인지 구분하기가 자주 어렵습니다(어떤 툴은 같은 구간을 1분당 87박으로 측정하고, 어떤 툴은 175박으로 측정합니다). 그래서 두 가지 측정 방식과 세 가지 속도로 모두 측정해 보았지만, 이 숫자들은 여전히 참고용으로만 쓸 수 있습니다. 얼마나 들었나요? 여러 방법을 비교해 본 결과, 실제로 약 2.25달러(2026년 9월 기준 가격)가 들었습니다. MV 자체에는 별도의 비용이 들지 않았습니다. 50초와 80초 지점에 각각 아주 짧은 정지 장면이 하나씩 있는데, 이미 최종본으로 확정된 상태라 더 이상 수정하지 않았습니다. 제작 방법은 さんかくてん(트윗,후편)와 aicreataro| 이 곡은 Suno가 생성했습니다. 음악이 포함된 짧은 영상 만드는 법:Gorden Sun의 트윗 2026년 9월 27일

방법	춤에 사용한 음악	춤이 박자에 맞나?
Grok (사용량 기반 과금)	우리의 노래는 만들어질 때 Grok이 듣지 못했습니다	없음
Grok (구독 플랜)	우리의 노래는 만들어질 때 Grok이 듣지 못했습니다	없음
MiniMax H3	우리 노래도 생성할 때 함께 넣어 줬다	있음 (7개 단락 중 4개 단락에서 뚜렷함)
Grok, 기본 제공되는 배경 음악과 함께	Grok이 직접 만든 것	운에 따라, 여러 개를 만들어 보고 그중에서 골라야 합니다 (10개 중 1개).