← 文章

用 AI 試做當下最流行的 RAP 影片

· 8 分鐘閱讀
AI 影片 AI MV MiniMax H3 Suno 分鏡
AI 影片實作

用 AI 試做

當下最流行的 RAP 影片

用 AI 做一支劇情 MV 的七個步驟,從選題到提升畫質;踩過的問題集中在最後。

流程

流程和用到的模型

下面兩支 rap MV 照同一套流程做,流程和每一步用到的模型如下。

用 AI 做劇情 MV 的七步流程1選題,找一支參考片2角色 ⇄ 歌,互相修3試生成,摸清模型做得到什麼← 不對就回 2 改圖4分鏡稿,每鏡一張圖5照分鏡逐顆生成6檢查 → 重生 → 寫成自動檢查← 不過就回 5 重生7定稿後提升畫質← 出錯就重放✓成片:剪接、字幕、上架
七步流程;虛線是會退回前一步的地方
步驟 做什麼 模型 競品(未實測)
1 量參考片的節奏 Claude Code Codex、Gemini CLI
2 寫詞 Claude Code ChatGPT
2 做歌 Suno Udio
2、4 生角色、母圖、觀眾和 DJ 的圖 z-image ChatGPT 生圖、Nano Banana
2 分離人聲,不唱的鏡頭改餵伴奏 Demucs UVR
2 對出每句歌詞的時間 Whisper WhisperX
3、5 照參考圖和聲音生成鏡頭 MiniMax H3 Wan 2.2、Seedance
4 分鏡會議(五個角色) Codex Claude Code
6 看毛片、寫檢查腳本 Claude Code Codex
6 量嘴張多大 MediaPipe dlib
6、7 審查腳本 Codex Claude Code
7 放大到 1080p SeedVR2 Topaz Video AI
成片 剪接、上字幕 Claude Code(寫 ffmpeg 腳本) CapCut

實驗期間 2026-10-01~10-12,生成都在一張 RTX 3090 上跑。只在圖中這套模型上驗過,換模型先試生成(第 3 步)。

〈國姓爺退場〉:直式 60 秒、14 鏡 · 在 YouTube 開啟 ↗
〈誰的城〉:橫式 127.56 秒、53 鏡 · 在 YouTube 開啟 ↗
步驟

七個步驟

1. 選題,找一支參考片

題目要有現成的衝突,歌詞才有梗:雅典娜和波賽頓在神話裡真的搶過雅典城。參考片拿來量節奏。〈誰的城〉照一支三國 rap battle 量,每顆鏡頭 2~3 秒、切在拍子上,約四分之一是不唱的人。

2. 角色和歌一起做,互相修

歌詞提到角色身上沒有的東西,就重生角色;角色比預期好,就回頭調曲風或歌詞。歌回來先量實際唱了什麼,Suno 會改段落。

角色的順序是:先查外觀依據,再畫四視圖設定稿,最後生一張所有角色同框的母圖。每一鏡的參考圖都從母圖裁,人就不會變。

左:兩人同框的母圖;右:從兩個框裁出的單人參考圖
左:兩人同框的母圖;右:從兩個框裁出的單人參考圖

這兩支都跳過了前兩步,〈誰的城〉的正側面鏡頭只能靠模型自己補。

3. 先試生成,不管畫質

一次只換一樣東西,看哪些寫法會出錯、模型做不到什麼。H3 上試出來的:

  • 模型最聽參考圖,其次是聲音,文字排最後
  • 每鏡開頭幾秒是從參考圖變過來的
  • 嘴型對不上歌,鏡頭角度也指定不了
  • 一顆只能生 3、5、10 或 15 秒

〈誰的城〉開拍前試了 11 顆,抓到兩個會複製到全部 53 鏡的錯。

試生成:要拍波賽頓的特寫,第 0、2 秒是兩人加 DJ 的全景,第 4 秒拉近了,雅典娜還在畫面裡
試生成:要拍波賽頓的特寫,第 0、2 秒是兩人加 DJ 的全景,第 4 秒拉近了,雅典娜還在畫面裡

4. 畫分鏡稿,每一鏡一張圖

每一鏡寫景別、運鏡、要傳達什麼、誰在唱,配一張圖,照歌排成動態分鏡先看節奏。照第 3 步的限制寫:

  • 參考圖先裁成這一鏡的取景
  • 嘴看得清楚的鏡頭,每顆不超過 2 秒
  • 相鄰兩鏡的構圖要差很多
  • 會重複出現的東西,連顏色寫進一張表
〈誰的城〉的動態分鏡:每格上方是景別、角度和這一鏡的動作
〈誰的城〉的動態分鏡:每格上方是景別、角度和這一鏡的動作

5. 照分鏡稿逐顆生成

每鏡多生 2.5 秒,留給開頭剪掉。每鏡給自己的種子,種子是決定畫面長相的一個數字。轉身這種連續動作,從上一鏡的最後一格接著生。

提示詞照下面三條寫。模型最聽參考圖,其次是聲音,文字排最後(第 3 步),所以三樣要講同一件事。

一、寫明要什麼。 只寫「嘴閉著」,嘴照樣開合;寫成沒在 rap、麥克風放在腰邊、抿著嘴對瞪,嘴才閉上。取景也一樣:給全身照配「胸上」的描述,模型會從全身一路推近;參考圖先裁到半身再生,就沒再推近(那次描述和種子也一起改了)。

放大到臉。左:麥克風在嘴前,嘴一直開合;右:嘴全程閉著
上排:全身參考圖,第 2.5 秒還是全身,第 9 秒推到胸上。下排:參考圖裁到半身,第 9 秒還是半身
上排:全身參考圖,第 2.5 秒還是全身,第 9 秒推到胸上。下排:參考圖裁到半身,第 9 秒還是半身

二、不寫多餘的。 提到的東西,模型都可能畫出來:

  • 寫「右下角留位置,後製要放署名」,右下角就多一串假書法
  • 單人鏡的描述寫了另一個人的服裝,就算寫明他在畫面外,他還是被塞進來
  • 所有鏡頭共用的那句寫了全場站位,特寫開頭就先出全景(第 3 步那張圖)
  • 表情寫了下巴繃緊,嘴就容易動

後製要加的字別寫進描述,那一塊寫成乾淨的牆。共用句只寫光和服裝,單人鏡只寫那一個人。

右下角那串字是模型自己畫的
右下角那串字是模型自己畫的
要拍雅典娜一個人,畫面裡多出波賽頓
要拍雅典娜一個人,畫面裡多出波賽頓

三、要固定的寫清楚。 只寫「戴兜帽」,兜帽顏色每顆不一樣。改寫成「深褐色兜帽、臉藏在陰影裡」,之後生的都是深褐。改之前生好的那幾顆,DJ 在整個畫面裡很小,就沒有重生。

上排是改之前,S03 的兜帽是淺褐;下排是改之後,四顆都是深褐
上排是改之前,S03 的兜帽是淺褐;下排是改之後,四顆都是深褐

6. 逐顆檢查,漏洞寫成自動檢查

看片前先寫好清單:連戲、左右方向、穿透或漂浮、時間流速、嘴。不過就重生,同一種漏洞出現第二次,就寫成自動檢查,並先拿做錯的樣本試過。

漏洞要記畫面上看到什麼、在第幾秒。〈國姓爺退場〉的結尾記成「人聲已停還在說話」,修的是音軌,沒修到;改記「畫面中人物嘴巴仍在動」才修到。

修之前(舊版剪法重組,請開聲音):唱完嘴還在動,接著直接切成背影
修之後(請開聲音):唱完就閉嘴,身體整個轉過去

這條後來寫進〈誰的城〉的清單,同一個毛病在看片時就抓到了。

7. 影片定稿,再提升畫質

H3 生成的畫面只有 1056×608。放大一次要跑很久,所以每一鏡都定了才放,之後重生的鏡頭要重放。

左:原生畫面直接拉大;右:SeedVR2 放大,金鍊和刺繡的回紋變清楚了
左:原生畫面直接拉大;右:SeedVR2 放大,金鍊和刺繡的回紋變清楚了

放大也會出錯。有推近的鏡頭撐爆顯示卡記憶體,只好切小段重放;「跳過已放大的鏡頭」只比長度,重生過的鏡頭就沒被重放。放完再檢查格數、切點和凍住的格。4K 約要 1080p 的 10 倍時間,這兩支只做到 1080p。

常見問題

常見問題

每一鏡的開頭,為什麼像定格?

參考圖模式的第一格幾乎就是參考圖本身。多生一段,把開頭剪掉。

第一張是參考圖,後四張是生成的第 0、0.8、1.6、2.4 秒:第 0 秒和參考圖幾乎一樣
第一張是參考圖,後四張是生成的第 0、0.8、1.6、2.4 秒:第 0 秒和參考圖幾乎一樣

兩顆鏡頭長得像重播?

描述一樣、種子也一樣,就會生出幾乎一樣的畫面。每鏡給自己的種子。

上下兩排是兩顆鏡頭:同一秒的姿勢、手、光線幾乎一樣,只有背後的觀眾不同
上下兩排是兩顆鏡頭:同一秒的姿勢、手、光線幾乎一樣,只有背後的觀眾不同

重生好幾次還是錯?

同一種毛病重生兩次還在,就別再換種子,改鏡頭設計或換用別顆的素材。有一顆換寫法、換種子、拿掉聲音,連生四次都在講話,最後換成另一顆沒用到的片段。

同一顆連生四次,放大到嘴:四次嘴都在開合

兩鏡接起來,像畫面抖了一下?

這叫跳接:兩鏡構圖幾乎一樣,人只動了幾個像素。分鏡寫低角度、生出來卻是平視,就容易撞上前一鏡。前一鏡在後製慢慢推近,接點就變成取景的變化。

後一鏡寫低角度,生出來是平視,構圖跟前一鏡幾乎一樣
後一鏡寫低角度,生出來是平視,構圖跟前一鏡幾乎一樣
左:直接接,像抖一下;右:前一鏡慢慢推近之後再接

轉身怪怪的,像突然跳成背影?

模型生成的轉身只轉了頭,身體沒轉,剪接又跳過那段,正面就硬切成背影。改成從上一鏡的最後一格接著生成,身體連腳一起轉過去。

接著生成的轉身,每隔一段取一格
接著生成的轉身,每隔一段取一格

每顆鏡頭都太長,節奏很慢?

〈誰的城〉第一版分鏡用影片秒數訂預算,分鏡就偏向長鏡頭,多數一顆 6~7 秒,參考片是 2~3 秒。預算改用顯示卡時間訂,並拿參考片比節奏。

自動檢查把正確的字卡判成錯?

固定門檻在平整的灰牆上夠用,背景換成煙霧和火光就誤判。改成跟「同一格沒有字卡」比。

嘴型能對上歌嗎?

到 2026 年 10 月還不行。量過兩次,嘴張多大跟人聲大小的關係,和故意錯開時間的對照組分不出來,只能照第 4 步從鏡頭設計上避開。

帶走這段

複製給你的 AI Agent

把下面這段貼給你的 AI,讓它對照你手上的歌、角色圖、分鏡和片段。

請先讀這篇文章:https://blog.joneshong.com/zh/blog/ai-story-mv 它把用 AI 做劇情 MV 拆成七步: 1. 選題,找參考片量節奏 2. 角色和歌互相修(外觀依據→設定稿→母圖) 3. 試生成,摸清模型做得到什麼 4. 分鏡稿:景別、運鏡、要傳達什麼、誰在唱 5. 照分鏡生成(多生 2.5 秒、每鏡一個種子) 6. 逐顆檢查,漏洞寫成自動檢查 7. 定稿後提升畫質,放完再檢查 提示詞三條:寫明要什麼、不寫多餘的、要固定的寫清楚 請幫我: 1. 讀我手上的東西(歌、角色圖、分鏡、生成好的片段),說出我在第幾步、下一步缺什麼 2. 照文章的看片清單(連戲、左右方向、穿透或漂浮、時間流速、嘴), 列出我的分鏡或片段最可能出事的三處 3. 我重生過兩次以上的漏洞,幫我寫成一個自動檢查,先拿一個故意做錯的樣本試過 4. 照提示詞三條看我的描述:哪裡沒寫明、哪裡多寫了、哪個固定的東西沒寫清楚 這些做法只在 MiniMax H3、Suno、SeedVR2 上驗過,你用的模型表現不同就標出來。 單一鏡頭的短片,或模型沒有參考圖模式時,不適用的步驟直接告訴我。
參考資料

延伸閱讀

資源為什麼重要
〈AI 做影片:畫面怎麼動、花多少〉六種 AI 影片的做法與成本,這篇只接它沒講的多鏡頭怎麼控。
〈曹操 VS 刘备 Freestyle 说唱 Battle〉(Boundary into culture,@jieruwenhua)〈誰的城〉的結構和鏡頭類型照它量,沒用它的畫面和歌詞。
✦ 帶走這段