AI 캐릭터 애니메이션: 먼저 캐릭터와 스토리보드를 완성한 뒤 작업을 시작한다

AI로 움직이는 캐릭터 애니메이션을 만들려면, 작업을 시작하기 전에 두 개의 표를 미리 준비해야 합니다. 시작은 Jason Zhu의 한 마디였다: AI로 애니메이션을 만들 때 가장 흔한 실패 사례는 화면이 마치 PPT처럼 보이는 것입니다. 요소들이 미끄러지듯 움직이기는 하지만, 생동감이 없습니다. 그는 ‘ClaudeAnimationBase’라는 오픈소스 도구 세트를 추천했다. 여기에는 3만 6천 자 분량의 애니메이션 가이드가 포함되어 있어, AI에게 준비 동작이 무엇이고 과장이 무엇인지 가르쳐 준다. 시작하기 전에 확인해야 할 두 가지 표 캐릭터 설정표: 캐릭터의 키, 정면과 측면 모습, 7~8가지 표정 등을 모두 먼저 그려 놓는다 컷 리스트: 각 샷에서 어떤 내용이 펼쳐지는지, “0.8초째에 관객이 어디를 봐야 하는지”까지 상세히 기술한다 어떻게 하는지, 누가 하는지 제가 주제를 제시합니다. “Claude, Codex, Gemini, 이 세 봇이 상호작용하는 이야기를 만들어 보세요… 대본, 스토리보드, 내용, 캐릭터 디자인을 직접 구상해 주세요.” 몇 개의 AI가 각자 다른 일을 맡아 수행합니다. 하나는 캐릭터 설정표를 그리고, 하나는 감독이 되어 모래성을 촬영하고, 또 하나는 아이스크림을 촬영합니다. 설정표를 다 읽어보고는 “설정 그림은 다 됐으니 바로 촬영 시작하자”라고 말했다. 또 다른 완전히 새로운 AI를 찾아서, 설명서만 제공하면, 그 AI가 스스로 나비 영상을 완성하게 한다 영상 3편을 만들었다 영상 캐릭터 결과 나비 쫓기 1개 가장 멋지다 모래성 쌓기 3개 화면이 가장 어수선하다 녹아내리는 아이스크림 1개 비교해 보자: 등장인물이 적고, 줌 아웃을 하지 않았는데도 화면이 더 선명해졌다 내가 보기에는 캐릭터가 많아지고 카메라가 멀어지면 화면이 어수선해진다. 종류마다 한 편씩만 만들었으니 표본은 아주 작다 화면이 어떻게 움직이나요? 프로그램이 “지금 몇 초째인가”라고 묻는 대로 그 프레임을 그려내는데, 초당 24프레임이다. 선은 2프레임마다 한 번씩 떨리는데, 마치 손으로 그린 만화처럼 보인다. 캔버스에는 WebGL을 썼다(그래픽 카드로 그림을 그리기 위해서다). 하지만 평면만 그리며, 가이드에도 3D는 만들지 말라고 적었다. WebGL을 쓴 이유는 브러시 라이브러리(p5.brush)가 WebGL에서만 작동하기 때문이다 모든 동작을 분당 120박자에 맞췄다. 애니메이션은 완성 당시 무음이었고, 나중에 음악을 붙여도 다시 그릴 필요가 없었다. 자세한 내용은 “애니메이션 배경음악을 넣는 세 가지 방법”에 적었다 AI는 어디까지 할 수 있을까 할 수 있다 3만 6천 자 분량의 가이드라인에 따라, 준비 동작과 표정이 있는 캐릭터를 만들어라 나비 장면은 AI가 직접 16장의 화면을 추출해 검토한 뒤, 7차례에 걸쳐 수정한 끝에 제출했습니다. 다른 사람의 도움이 더 필요해 캐릭터가 많아지고 카메라가 멀어지면 화면이 어수선해진다 스토리보드에는 캐릭터가 할 수 없는 동작(손이 입에 닿지 않는 것)이 그려져 있어, 애니메이션을 제작하는 AI가 어쩔 수 없이 12곳을 수정해야 했다. 트윗에는 한 칸 그리는 데 0.11초라고 되어 있는데, 제가 M4 컴퓨터에서 측정해 보니 0.27초가 나왔습니다. 출처:Jason Zhu의 트윗,ClaudeAnimationBase(MIT) 2026년 9월 27일

영상	캐릭터	결과
나비 쫓기	1개	가장 멋지다
모래성 쌓기	3개	화면이 가장 어수선하다
녹아내리는 아이스크림	1개	비교해 보자: 등장인물이 적고, 줌 아웃을 하지 않았는데도 화면이 더 선명해졌다

AI 캐릭터 애니메이션: 먼저 캐릭터와 스토리보드를 완성한 뒤 작업을 시작한다

시작하기 전에 확인해야 할 두 가지 표

어떻게 하는지, 누가 하는지

영상 3편을 만들었다

화면이 어떻게 움직이나요?

AI는 어디까지 할 수 있을까

이 노트에서 이어진 글