휴대폰으로 찍은 춤 영상 하나로 3D 캐릭터가 한 곡을 끝까지 춘다
2026년 10월 16일 · 발견한 곳 YouTube · 조회 0회
히나 · 실사 영상을 VRMA로
くじら
미츠루의 오리지널 안무입니다. 위 Short의 위쪽 절반은 미츠루의 원본 영상, 아래쪽 절반은 히나이며 카메라는 원본에 맞췄습니다. 휴대폰을 고정해 찍은 춤 영상에서 AI로 프레임마다 3D 골격을 읽어(SAM 3D Body) 모션 파일(VRMA)로 변환해 히나에게 입혔습니다. 한 곡 전체, 약 60초입니다. 동작은 AI 추정이라 원래 안무와 세부가 다를 수 있습니다.
아이돌 무대 버전 · 31가지 카메라 무브
같은 동작을 아이돌 의상과 공주 머리로 바꿔 콘서트 무대에서 추게 했습니다. 카메라는 카메라 무브 목록에서 자동으로 짰고, 입은 노랫소리에 맞춰 열리고 닫힙니다.
- 31 컷
- 15 가지 카메라 무브
- 카메라 최저 높이 1.01 m
- 59.8 초
원본 캡처부터 5라운드까지 · 같은 앞부분 20초
모두 세 칸으로, 왼쪽은 원본, 가운데는 히나(카메라를 원본에 맞춤), 오른쪽은 옆에서 본 히나입니다. 오래된 것부터 순서대로 놓았습니다.
원본 캡처 · 수정 전
추정한 골격을 그대로 입힌 상태입니다. 등이 굽고 고개를 숙이고 발끝이 들리며, 골반이 비틀려 치마가 계속 들춰집니다.
- 전곡 골격 추정 806 초 (GPU)
1~2라운드 · 변형과 관절 한계
추정 모델과 히나는 정지 자세가 달라서, 각 뼈가 정지 자세에서 얼마나 회전했는지를 그대로 옮기는 방식으로 바꿨습니다. 몸이 곧게 서고 신발 바닥이 평평하게 닿습니다. 그다음 히나의 메시가 버틸 수 있는 관절 각도 안으로 동작을 줄였습니다.
- 바닥을 뚫은 발바닥 651 → 0 프레임
- 관절 한계 초과 0 프레임
3라운드 · 발 미끄러짐
히나는 원래 제자리에 고정돼 있어서, 댄서가 움직이면 디딘 발이 바닥에서 미끄러졌습니다. 디딘 발을 착지점에 고정하고 몸 위치를 발에서 거꾸로 계산하도록 바꿔, 이제 댄서를 따라 바닥 위를 이동합니다.
- 디딘 발 미끄러짐 0.82 → 0 cm/프레임
- 디딘 발 뜸 13 → 0 프레임
- 디딤 왼발 40 회 · 오른발 39 회
4라운드 · 떨림 제거
AI는 프레임마다 따로 자세를 추정하기 때문에, 추정된 발이 매 프레임 튑니다. 뼈마다 시간 방향으로 약간의 평활화를 걸고, 두 번의 디딤 사이에 발을 드는 구간은 보간으로 이었습니다.
- 발 가속도 p99 27.8 → 6.1 cm/프레임²
5라운드 · 다리 모양, 페이드인 건너뛰기
히나의 선 자세가 댄서보다 좁고 두 무릎이 붙어 있어서, 허벅지와 정강이를 댄서의 방향에 바로 맞추도록 바꿨습니다. 원본은 처음에 페이드인, 끝에 페이드아웃되는데, 가장 어두운 프레임은 제대로 추정되지 않아 건너뛰었습니다. 위의 완성본 두 편 모두 이 버전의 모션 파일을 썼습니다.
- 건너뜀 앞 28 프레임 · 끝 10 프레임
Credit
만든 방법
휴대폰으로 찍은 춤 영상에서 SAM 3D Body로 프레임마다 3D 골격을 추정하고, VRMA로 변환해 히나에게 입혔습니다. 그대로 입히면 등이 굽고 발끝이 들리고 발이 바닥에서 미끄러지며 동작이 툭툭 끊깁니다. 다섯 번 고친 뒤에야 춤추는 것처럼 보였고, 매번 제대로 고쳐졌는지 측정한 다음 다음 단계로 넘어갔습니다.
검증할 때는 앞부분 20초만 렌더링했지만, 모션 파일은 처음부터 곡 전체를 변환해 두었기 때문에 60초로 늘리는 데는 다시 렌더링만 하면 됐습니다. 완성본 두 편 모두 곡에서 분리한 보컬에 맞춰 입이 열리고 닫히며, 눈 깜빡임은 영상 시간에 맞춰 넣었습니다. 한 프레임을 렌더링하는 데 재생보다 오래 걸려서, 컴퓨터 시계로 깜빡이게 하면 영상 속에서는 계속 깜빡이게 됩니다. 위의 과정 영상 다섯 편이 바로 그렇습니다. 무대 버전은 여기에 31컷을 자동으로 짰습니다. 안무가 미성년 댄서의 것이라 카메라는 1 m 아래로 내리지 않고, 뒤에서는 전신만 찍습니다. 이 규칙은 컷 구성 프로그램에 넣어 렌더링 전에 걸러 냅니다.
Content ID로 노래가 소유권 주장된 Short는 1분을 넘으면 전 세계에서 차단되기 때문에, 두 편 모두 59.8초로 잘랐습니다.
아직 해결 못 한 것: 허벅지를 앞으로 들면서 동시에 바깥으로 벌릴 때(나란히 놓은 버전 55.9초, 두 손을 들고 다리를 드는 순간) 히나의 치마 메시에 구멍이 납니다. 관절 하나하나의 한계는 쟀지만, 조합했을 때의 한계는 아직 재지 않았습니다.
돌아보며
- 같은 과정을 다른 두 댄서가 〈くじら〉를 춘 영상에도 적용했고, 동작도 똑같이 뽑아낼 수 있었습니다. 공개 전에 한 분씩 여쭤봤는데, 한 분은 공개를 원하지 않으셨고 한 분은 답이 없어서 두 영상 모두 싣지 않았습니다.
- 부탁할 때는 원본과 나란히 놓을지, 히나만 보여 줄지 고를 수 있게 했습니다. 댄서가 미성년자라 보호자분께도 함께 보여 드렸고, 공개 후에도 언제든 내릴 수 있다고 미리 말씀드렸습니다.
- 나란히 놓은 미리보기를 본 미츠루의 아버지께서 온 가족이 신나게 봤고 애니메이션 속 버전보다 더 춤추는 것 같다며 공개에 동의해 주셨습니다. 이번 작업에서 방향이 틀리지 않았다고 가장 확신한 순간이었습니다.
골격 추정: SAM 3D Body | 보컬 분리: demucs | Claude Code(Opus 5.5)와 함께 제작
이전 글 〈절묘한 춤이 절망적인 춤으로, AI가 살려낼 수 있을까요?〉의 결론은 ‘고치려면 동작 데이터를 고쳐라’였고, 이 노트는 그대로 해 본 결과입니다. 카메라 워크와 MMD를 VRM에 입히는 과정은 앞의 두 노트에 있습니다 | 2026년 10월 16일
동영상
