AI 做影片:
畫面怎麼動、花多少
讓影片動起來只有三件事要決定:畫面從哪來、跟著什麼時間走、怎麼輸出成檔案。三件事可以混著用,錢和時間也由這三個選擇決定。
AI 現在做得到什麼
寫程式的 AI:一支片從頭做到尾
Claude Code、Codex 這類會寫程式的 AI,已經能把一支片從頭做到尾:讀參考文章、寫腳本、寫繪圖程式、叫生圖模型畫插畫、作曲、念旁白、輸出影片。
白板片就是這樣做的。AI 讀完一篇別人的文章,寫好旁白和每一段要畫的東西,用語音模型(IndexTTS 2)學我的聲音念旁白,再用程式一格一格畫出來。
工作能拆開,AI 就能同時做:投影片教學片的 18 章由 6 個 AI 分頭做,再接成一支。
生成模型:一張圖或一句話,生出 5 秒
生成模型不寫程式,直接生出畫面。給它一張圖當第一格,再用一句中文說要怎麼動,就能生出 5 秒的片段。
下面三支都在家裡的 RTX 3090 上跑,聲音也是一起生出來的。前兩支用同一張圖、同一句「咬嘴唇 看左看右 手撩頭髮」,分別是 LTX-2.5 和 H3;第三支是 H3 換一張圖、換一句「慢慢抬起頭看向窗外,陽光灑在臉上,髮絲輕輕飄動」:
影片最難的是前後連得起來:同一張臉、合理的動作、光線不亂跳。前兩支裡,H3 鏡頭不動、臉沒變;LTX-2.5 自己推了鏡頭,臉型和髮色有幾格跑掉。
不給第一格也行。Seedance 2.5 只拿到一句英文:黑貓管家在陽光下的書房倒紅茶,鏡頭慢慢推近,要聽得到瓷器輕碰的聲音:
Grok 生影片時,預設也會連配樂一起生,一段 10 到 15 秒。
LTX-2.5 和 H3 用官方範本,範本自帶的設定沒動;我寫的只有那一句中文。
生成模型一次只給 5 到 15 秒,好幾段之間的配樂接不起來。它生的是素材,整支片還是要靠程式接起來。
做不到的地方
下面五件事,每件都有一個讓它現形的例子:
- 聽不見。 白板片每句話頭尾都有「喀」一聲,AI 的自動檢查全部通過。聲音要靠人耳聽,或另外寫專門量聲音的檢查
- 不會開口要素材。 自我介紹有一版一張圖都沒有,全用程式畫,拿來參考的原版有 11 張 3D 圖。AI 沒說「素材不夠會不好看」,照樣交出來。素材要先備好給它
- 自己的回報不能全信。 一個 AI 回報做了 1 個動畫,另一個 AI 去量,是 0 個。要由另一個 AI 或工具重新量
- 生成模型只用它當下拿到的東西。 生成舞蹈時沒給歌,事後怎麼調時間都救不回來:兩支把舞步移到拍子上的程式,都通過了自己的測試,舞還是沒踩上拍。給參考影片,它學到的是長相,不是什麼時候該動:卡點短片給了原片當參考,跟拍子的程度從 12 倍掉到 6 倍(各做一支)
- 預設是簡體字和大陸用語。 打字畫面預設拼音、畫面文字預設簡體,要明講才改
畫面怎麼動起來
影片是一張一張的圖,快速換過去就會動。每支片都要決定三件事:畫面從哪來、跟著什麼時間走、怎麼輸出成檔案。三件事可以各自混搭。
畫面從哪來
畫面有三種來源,同一支片可以全部用上:
| 來源 | 用在哪 | 特性 |
|---|---|---|
| 程式畫 | 投影片(CSS)、白板(SVG)、自我介紹(Remotion)、角色動畫(WebGL)、卡點(Canvas)、MV 特效(Python) | 每個動作都寫在程式裡,改一個數字就能重做 |
| 生圖模型 | 投影片插畫、白板貼圖、自我介紹的角色、MV 的角色 | 畫程式畫不好的東西,再交給程式去動 |
| 影片生成模型 | MV 的舞蹈(H3、Grok) | 像真,但一段很短,不一定照指示(H3 沒照要求用綠色背景) |
MV 就是三種混用:Grok 畫角色,H3 和 Grok 生成舞蹈,Python 把人剪下來,照著身體的位置畫上線條和火花,再照拍子換鏡頭。
自我介紹是程式畫的例子:黑貓角色是生圖模型畫的,圖卡的位置、大小和透明度都由 Remotion 一格一格算。
跟著什麼時間走
畫面和聲音要對得上,就得共用同一份時間表。時間表的來源有四種:
旁白。 先把旁白念好,量出每段念了幾秒,再把畫面排進那段時間。白板片的筆畫排不下時,先借下一段開頭的時間,再不夠就整段加速,最快 3 倍。畫面是照著聲音排出來的,不是事後剪到對齊的。
自己排的拍子表。 卡點短片選每分鐘 120 拍,每秒 30 格時一拍剛好 15 格,每一拍都落在整數格上。一張拍子表同時決定音效放哪、畫面什麼時候動。
角色動畫的每個動作也對準 120 拍,所以動畫做完,再配哪一種音樂都對得上。同一支 15 秒的動畫配了三種:
一首現成的歌。 MV 的歌速度從每分鐘 134.5 拍慢慢飄到 137.5 拍,固定間隔的格子會越差越多,所以用程式把 271 個拍子一個一個找出來。
生成的舞要踩在這首歌上,生成時就要把歌給模型:
| 舞怎麼生成 | 生成時聽到什麼 | 有沒有踩拍 |
|---|---|---|
| Grok,事後換上我們的歌 | 它自己配的音樂 | 沒有 |
| H3,生成時給我們的歌 | 我們的歌 | 有,7 段中 4 段明顯 |
| Grok,直接用它自己配的音樂 | 它自己配的音樂 | 10 段中 1 段,要抽卡 |
模型自帶的配樂。 Grok 的舞配的是它自己的音樂,踩不踩拍要看運氣,得多生幾段挑出踩拍的那段,也就是抽卡。15 秒以內的短片,可以直接把人剪下來換背景,Gorden Sun 就這樣做了一支。要更長,每段自帶的音樂接不起來,可以把其中一段丟進 Suno 延伸成完整的歌,再用這首歌當時間表。
怎麼輸出成檔案
輸出只有兩種,取決於動畫聽誰的時鐘:
- 跟著瀏覽器的時鐘:只能即時錄影。 CSS 動畫照瀏覽器自己的時間跑,不會等人。投影片教學片試過一格一格拍,太慢;少拍幾格,又拍到動到一半的畫面,最後改成照正常速度錄影
- 問「現在第幾格」:可以逐格算。 Remotion、Canvas、SVG、WebGL 和 Python 的畫面,都是程式問「現在第幾格」,再把那一格畫出來。每一格互不相干,所以可以慢慢畫,也可以同時開好幾個瀏覽器分頭畫
生成模型的片段,進到逐格算這一步當素材:MV 的每一格都先剪出人物、找出身體的 33 個點,再畫特效。
要花多少錢和時間
錢:生成按秒算,程式畫的片算 AI 用量
生成影片的價錢,換算成每秒(2026 年 9 月):
| 模型 | 條件 | 價錢 | 每秒 |
|---|---|---|---|
| Seedance 2.5 | 720p、5 秒、帶聲音 | 1.19 美元 | 約 0.24 美元 |
| Grok(付費 API) | 720p、10 秒 | 實扣 1.41 美元 | 約 0.14 美元 |
| H3(付費 API) | 1344×768、10 秒、給歌 | 0.80 美元 | 約 0.08 美元 |
| LTX-2.5、H3(自己的顯示卡) | 5 秒 | 只有電費 | — |
Grok 照定價頁算是 0.80 美元,實際扣了 1.41,差額原因沒查到。
一支 2 分鐘的 MV,全用 H3 付費生成約 9.6 美元,全用 Seedance 約 29 美元。這支 MV 改用自己的顯示卡和 Grok 訂閱生成,沒有另外付錢。
程式畫的片沒有按秒計價,花的是 AI 寫程式的用量。MV 合成程式之前先做了一支 10 秒的測試片,同一份規格,照 API 價換算,Codex 用了約 1.14 美元,Claude Code 約 6.68 美元。平常用訂閱方案就包在月費裡。
整個實驗另外付的錢一共約 3.44 美元:比較 Grok 和 H3 付費生成的 2.25 美元(含一張角色圖 0.04 美元),加上 Seedance 1.19 美元。訂閱月費、顯示卡和電費沒算進去。
時間:看輸出方式
- 即時錄影:片多長,就錄多久。10 分 23 秒的投影片教學片,錄 10 分 23 秒
- 逐格算:格數 × 每格要畫多久 ÷ 同時開幾個瀏覽器。卡點短片 1755 格、開 6 個瀏覽器,約 5 分鐘;白板片 67 秒、開 4 個,21 秒畫完。每格要畫多久看畫法:角色動畫的手繪筆刷在 M4 Mac 上一格 0.27 秒,電腦忙的時候拉長到 1.9 秒
- 生成:RTX 3090 上生一段 5 秒,LTX-2.5 約 80 秒,H3 約 110 秒;Seedance 在雲端 191 秒;H3 付費 API 生 10 秒約 3 分半
這些都是同一台機器量一次的數字,電腦同時在跑別的東西時會慢很多。
想做哪種片
| 想做的片 | 畫面 | 時間跟著 | 錢 | 時間取決於 |
|---|---|---|---|---|
| 教學、講解 | 網頁投影片或程式畫線 | 旁白 | AI 用量 | 片長(錄影)或格數(逐格算) |
| 卡點短片 | 程式畫 | 自己排的拍子表 | AI 用量 | 格數 ÷ 同時開幾個 |
| 角色動畫 | 程式逐格畫,先畫角色表和分鏡 | 固定拍速,事後配樂 | AI 用量 | 每格畫多久(筆刷很慢) |
| 配指定歌的舞蹈 MV | 生成舞蹈+程式特效 | 現成的歌,生成時給模型 | 每秒約 0.08 美元(H3 付費),或自己的顯示卡 | 生成片段的數量 |
| 15 秒內的音樂短片 | 生成舞蹈+換背景 | 模型自帶配樂 | 訂閱內 | 要抽幾次才踩拍 |
| 單段寫實畫面 | 生成模型 | — | 每秒 0.08 到 0.24 美元,或自己的顯示卡 | 每 5 秒約 1 到 3 分鐘 |
先問畫面聽誰的時鐘
畫面從哪來、跟著什麼時間走、怎麼輸出,這三件事決定了能做多準、要花多少。
把下面這段貼給你的 AI,讓它對照你手上的影片專案。
延伸閱讀
七篇製作筆記
| 資源 | 為什麼重要 |
|---|---|
| 投影片教學影片 | CSS 動畫為什麼只能即時錄影 |
| 手繪白板影片 | 先念旁白,再把筆畫排進旁白的時間 |
| Remotion 自我介紹 | 程式寫得出動畫,素材得先備好 |
| AI 角色動畫 | 動手前先畫角色表和分鏡表 |
| 動畫配樂三種做法 | 動作先對準拍子,事後怎麼配樂都對得上 |
| 卡點影片 | 給參考影片,學到長相,學不到時機 |
| AI 做 MV | 生成舞蹈時要聽得到歌 |
做法來源
| 資源 | 為什麼重要 |
|---|---|
| ConardLi:web-video-presentation(garden-skills) | 投影片教學片 |
| Simon聊AI:Codex + Excalidraw 做白板影片(whiteboard-video) | 白板片「先念再畫」 |
| Kent C. Dodds:讓 AI 自己做 showreel | 自我介紹 |
| Jason Zhu:讓 AI 做動畫別像 PPT(ClaudeAnimationBase) | 角色動畫的做法和動畫指南 |
| Gorden Sun:Opus 做剪映卡點影片 | 卡點短片的原始提示詞 |
| さんかくてん(續篇、aicreataro) | MV 的做法 |