박자 맞춤 영상: AI에게 원본 영상을 보여줬더니 오히려 박자가 덜 정확해졌다

AI에게 참고 영상을 보여주면, 만들어낸 싱크 영상은 원작과 더 비슷해지지만 박자가 맞지 않게 된다. ‘박자에 맞춘 편집’은 음악 박자에 맞춰 화면을 전환하는 것이다. 시작은 Gorden Sun이 공유한 프롬프트였다. AI가 직접 주인공이 되고, 편집 프로그램 같은 화면에서 한 번에 끊지 않고 찍으며, 전자음악도 직접 만들어 박자에 맞추라는 내용이었다 어떻게 하는지, 누가 하는지 메인 AI가 원본 영상을 보고 추석 버전을 만들었다 새 AI 3개를 더 불러 각각 한 버전씩 만들게 했다. 원본을 전혀 보지 않은 버전, 원본을 보지 않고 할로윈으로 바꾼 버전, 원본을 참고한 할로윈 버전이다 내가 방향을 정했다. “할로윈으로 해 보자.” 나중에는 “추석 버전이 더 잘 나왔으니 원본 영상을 참고로 줘야 할지도 모르겠어”라고 했다 현지화 수정을 요청합니다: 저자명을 ‘Joneshong’으로 표기하고, 간체자를 번체자로 변경하며, 입력 화면을 병음에서 주음으로 바꾸고, 대만식 표현을 사용하도록 해 주세요. 화면이 어떻게 움직이나요? 화면은 웹의 캔버스(Canvas 2D)를 사용하여 그립니다. 프로그램이 “현재 몇 번째 프레임인가”라고 묻으면, 해당 프레임을 그립니다. 초당 30프레임으로 처리됩니다. 음악도 코드로 처음부터 합성했다. 분당 120박자다. 하나의 ‘박자표’가 화면과 음악을 함께 움직여서, 박자는 나중에 맞춘 게 아니라 처음부터 맞았다 브라우저 6개를 동시에 열어 각자 그림을 그렸는데, 58초 분량의 영상에 1755프레임을 5분 만에 완성했다. 같은 프롬프트로 네 번 실행했습니다. 버전 박자에 맞추는 정도 추석, 원본 영상을 봤다 8.9배 추석, 원본 영상을 보지 않음 6.6배 할로윈, 원본 영상을 보지 않음 12배 할로윈, 원본 영상을 봄 6배 ‘몇 배’는 두 박자 사이에 화면이 몇 번 더 바뀌는지를 뜻한다. 숫자가 클수록 화면이 박자에 더 촘촘히 맞춰 움직인다. 종류마다 영상은 한 편씩만 만들었다 할로윈 버전 두 편을 비교하면 차이가 잘 보인다. 원본 영상을 주자 화면은 더 닮았다(전체 화면, 밝은 색, 헤드폰을 쓴 로봇). 하지만 박자 정확도는 절반 수준으로 떨어졌다 AI는 어디까지 할 수 있을까 할 수 있다 영상 전체를 처음부터 만들었다. 화면, 음악, 박자표까지 모두 직접 만들었다 서로 모르는 AI 둘이 똑같은 방식을 골랐다. 분당 120박자에 같은 박자표까지 썼다 박자 맞춤 검사 도구를 직접 만들었다. 소리를 일부러 0.2초 어긋나게 하니 도구가 찾아냈다 다른 사람의 도움이 더 필요해 기본적으로 간체자, 병음, 중국 본토 용어를 사용하며, 내가 지적해야만 수정한다 참고 영상을 주자 AI가 배운 건 겉모습뿐이었다. 언제 움직여야 하는지는 배우지 못했다 원본 프롬프트:Gorden Sun의 트윗 2026년 9월 27일

버전	박자에 맞추는 정도
추석, 원본 영상을 봤다	8.9배
추석, 원본 영상을 보지 않음	6.6배
할로윈, 원본 영상을 보지 않음	12배
할로윈, 원본 영상을 봄	6배