AI 做 MV:生成舞蹈時聽著歌,舞才會踩拍
2026年9月27日 · 更新 2026年9月28日 · 看到自 YouTube · 0 次瀏覽
一支兩分鐘的 MV:歌、角色、舞蹈都是 AI 做的。舞有沒有踩在拍子上,要看 AI 生成時有沒有聽到歌。
我一開始說:「我不是要誰取代誰,只是先把所有可能性走過一次…計算花費金錢、時間、效果。」做完比較,又問:「能不能結合 Suno 生成的影片,做出一支兩分鐘 MV?」
怎麼做,誰做的
- Grok 畫一張角色全身圖,背景是綠色,方便之後把人物剪下來
- Suno 作一首歌〈弾けろ HIBANA〉,用免費額度
- 跳舞影片分 12 段:7 段用 MiniMax H3 在家裡的顯示卡上生成,一段約 5 分鐘;5 段用 Grok 訂閱方案生成
- Codex 寫合成程式,Claude Code 寫規格、最後驗收
- Codex 再從頭審查一次,抓到 4 個真的錯誤
AI 原本建議用 H3 的付費版,兩分鐘大約 9.6 美元。我選了家裡的顯示卡加 Grok 訂閱,所以 MV 本身沒有另外花錢。
畫面怎麼動起來
分兩層:
- 舞步:不是程式畫的,是 H3 直接生出來的影片。生成時把那一段的歌一起給它
- 特效和剪接:Python 一格一格算,每秒 24 格。先把人物剪下來,找出身體 33 個點,再畫上跟著身體動的線條、火花,照拍子換鏡頭
歌的速度會從每分鐘 134.5 拍慢慢飄到 137.5 拍,所以程式把 271 個拍子一個一個找出來,不用固定的格子。
同一張圖,三種方法生成舞蹈
| 方法 | 舞配的音樂 | 舞有踩拍嗎 |
|---|---|---|
| Grok(按次付費) | 我們的歌,生成時 Grok 沒聽到 | 沒有 |
| Grok(訂閱方案) | 我們的歌,生成時 Grok 沒聽到 | 沒有 |
| MiniMax H3 | 我們的歌,生成時一起給它 | 有(7 段中 4 段明顯) |
| Grok,用自帶的配樂 | Grok 自己生的 | 看運氣,要多生幾段再挑(10 段中 1 段) |
兩種 Grok 生成時都會自帶配樂,只是 MV 要配的是我們的歌;自帶配樂那一列見下面「Grok 自帶的配樂,也能當素材」。有沒有踩拍,是用統計方法量的,不是用眼睛看的。
AI 做到哪
做得到
- 從規格、生成、剪人物、加特效到驗收,一路做完
- Codex 審查抓到 4 個真的錯誤,例如 10 秒的靜音被量成每分鐘 139.5 拍
- MV 之前先做 10 秒的測試片:同一份規格,Codex 和 Claude Code 各寫一支,兩支都通過驗收
還要人幫忙
- 沒聽到歌就生成的舞,事後救不回來:Claude Code 和 Codex 各寫一支程式把舞步移到拍子上,都通過自己的測試,舞還是沒踩上拍
- 就算是 H3,MV 裡 7 段也只有 4 段明顯踩拍
- H3 沒照指示用綠色背景,只好改用 AI 去背
- 量拍子的工具把每分鐘 136 拍量成 74 拍,後來才修好
- 我看出「部分片段骨架沒關掉」,才改成副歌每句開頭亮 2 拍
Grok 自帶的配樂,也能當素材
Grok 生成影片時,不管走 CLI 還是 API,預設都會連配樂一起生成,只是一次只有十幾秒(我們生過 10 秒和 15 秒兩種)。生好幾段,每段的配樂各自獨立、接不起來。
但拿來當素材已經夠用:
- 15 秒以內的短片:直接拿「綠色背景+自帶配樂」的片段去背、換背景就是一支。Gorden Sun 就這樣做了一支:Grok 生成 15 秒的原始影片,Opus 5.5 負責去背、排版、剪接
- 更長的片:把其中一段的音檔丟進 Suno 延伸成一首完整的歌,再用這首歌當整支片的時間軸
舞步會不會剛好踩在自帶的配樂上,要看運氣,想要一段踩拍的,就得多生幾段再挑,像抽卡。我們做 MV 時 Grok 那 5 段其實都自帶配樂,後來又重新生了 4 段 15 秒的片,連同更早一段測試一共 10 段,拿每段自己的配樂來量,只有 1 段明顯踩拍。Gorden Sun 那段原始影片量起來有踩拍。
示範短片用的就是踩拍的那 1 段:去背,疊上程式做的背景、字卡和跟著手動的線條,字卡照它自己配樂的拍子跳,一共 10 秒。
每段只有 10–15 秒,Grok 作的曲子常常聽不出是快拍還是慢拍(同一段有的工具量成每分鐘 87 拍,有的量成 175 拍),所以我換了兩種量法、三種速度都量過,這組數字仍只能當參考。
花了多少錢
比較各種做法時,實際花了大約 2.25 美元(2026 年 9 月價格)。MV 本身沒有另外付錢。
第 50 秒和第 80 秒各有一下很短的停格,已經定稿,就沒再修。
做法來自 さんかくてん(推文、續篇)和 aicreataro|歌曲由 Suno 生成
自帶音樂的短片做法:Gorden Sun 的推文
2026 年 9 月 27 日