← 文章

AI 做影片:畫面怎麼動、花多少

· 10 分鐘閱讀 · 45 次閱讀
AI 影片 Claude Code Codex Remotion 動態圖形
AI 影片實作

AI 做影片:

畫面怎麼動、花多少

讓影片動起來只有三件事要決定:畫面從哪來、跟著什麼時間走、怎麼輸出成檔案。三件事可以混著用,錢和時間也由這三個選擇決定。

開場

六種影片,三個生成模型

2026 年 9 月底,我照 X 上幾則分享,用 AI 做了六種影片,每種都寫了製作筆記(連結在文末)。影片都嵌在講到它的段落裡:

  • 投影片教學片:網頁投影片配電腦念稿,10 分 23 秒
  • 手繪白板片:程式一筆一筆畫線,旁白用我的聲音,67 秒
  • 自我介紹:程式做的動態圖卡,38 秒
  • 角色動畫:卡通角色演一段 15 秒的故事,配了三種音樂
  • 卡點短片:畫面跟著音樂的拍子換,58 秒
  • MV:Suno 作歌,生成模型生成舞蹈,2 分鐘

另外試了三個直接生成影片的模型:LTX-2.5、MiniMax H3、Seedance 2.5。

能力

AI 現在做得到什麼

寫程式的 AI:一支片從頭做到尾

Claude Code、Codex 這類會寫程式的 AI,已經能把一支片從頭做到尾:讀參考文章、寫腳本、寫繪圖程式、叫生圖模型畫插畫、作曲、念旁白、輸出影片。

白板片就是這樣做的。AI 讀完一篇別人的文章,寫好旁白和每一段要畫的東西,用語音模型(IndexTTS 2)學我的聲音念旁白,再用程式一格一格畫出來。

工作能拆開,AI 就能同時做:投影片教學片的 18 章由 6 個 AI 分頭做,再接成一支。

手繪白板片(67 秒) · 在 YouTube 開啟 ↗
投影片教學片(10 分 23 秒) · 在 YouTube 開啟 ↗

生成模型:一張圖或一句話,生出 5 秒

生成模型不寫程式,直接生出畫面。給它一張圖當第一格,再用一句中文說要怎麼動,就能生出 5 秒的片段。

下面三支都在家裡的 RTX 3090 上跑,聲音也是一起生出來的。前兩支用同一張圖、同一句「咬嘴唇 看左看右 手撩頭髮」,分別是 LTX-2.5 和 H3;第三支是 H3 換一張圖、換一句「慢慢抬起頭看向窗外,陽光灑在臉上,髮絲輕輕飄動」:

LTX-2.5:咬嘴唇 看左看右 手撩頭髮
H3:同一張圖、同一句
H3:換圖,慢慢抬起頭看向窗外

影片最難的是前後連得起來:同一張臉、合理的動作、光線不亂跳。前兩支裡,H3 鏡頭不動、臉沒變;LTX-2.5 自己推了鏡頭,臉型和髮色有幾格跑掉。

不給第一格也行。Seedance 2.5 只拿到一句英文:黑貓管家在陽光下的書房倒紅茶,鏡頭慢慢推近,要聽得到瓷器輕碰的聲音:

Seedance 2.5:黑貓管家倒紅茶

Grok 生影片時,預設也會連配樂一起生,一段 10 到 15 秒。

LTX-2.5 和 H3 用官方範本,範本自帶的設定沒動;我寫的只有那一句中文。

生成模型一次只給 5 到 15 秒,好幾段之間的配樂接不起來。它生的是素材,整支片還是要靠程式接起來。

做不到的地方

下面五件事,每件都有一個讓它現形的例子:

  • 聽不見。 白板片每句話頭尾都有「喀」一聲,AI 的自動檢查全部通過。聲音要靠人耳聽,或另外寫專門量聲音的檢查
  • 不會開口要素材。 自我介紹有一版一張圖都沒有,全用程式畫,拿來參考的原版有 11 張 3D 圖。AI 沒說「素材不夠會不好看」,照樣交出來。素材要先備好給它
  • 自己的回報不能全信。 一個 AI 回報做了 1 個動畫,另一個 AI 去量,是 0 個。要由另一個 AI 或工具重新量
  • 生成模型只用它當下拿到的東西。 生成舞蹈時沒給歌,事後怎麼調時間都救不回來:兩支把舞步移到拍子上的程式,都通過了自己的測試,舞還是沒踩上拍。給參考影片,它學到的是長相,不是什麼時候該動:卡點短片給了原片當參考,跟拍子的程度從 12 倍掉到 6 倍(各做一支)
  • 預設是簡體字和大陸用語。 打字畫面預設拼音、畫面文字預設簡體,要明講才改
做法

畫面怎麼動起來

影片是一張一張的圖,快速換過去就會動。每支片都要決定三件事:畫面從哪來、跟著什麼時間走、怎麼輸出成檔案。三件事可以各自混搭。

畫面從哪來

畫面有三種來源,同一支片可以全部用上:

來源 用在哪 特性
程式畫 投影片(CSS)、白板(SVG)、自我介紹(Remotion)、角色動畫(WebGL)、卡點(Canvas)、MV 特效(Python) 每個動作都寫在程式裡,改一個數字就能重做
生圖模型 投影片插畫、白板貼圖、自我介紹的角色、MV 的角色 畫程式畫不好的東西,再交給程式去動
影片生成模型 MV 的舞蹈(H3、Grok) 像真,但一段很短,不一定照指示(H3 沒照要求用綠色背景)

MV 就是三種混用:Grok 畫角色,H3 和 Grok 生成舞蹈,Python 把人剪下來,照著身體的位置畫上線條和火花,再照拍子換鏡頭。

自我介紹是程式畫的例子:黑貓角色是生圖模型畫的,圖卡的位置、大小和透明度都由 Remotion 一格一格算。

自我介紹(38 秒) · 在 YouTube 開啟 ↗

跟著什麼時間走

畫面和聲音要對得上,就得共用同一份時間表。時間表的來源有四種:

旁白。 先把旁白念好,量出每段念了幾秒,再把畫面排進那段時間。白板片的筆畫排不下時,先借下一段開頭的時間,再不夠就整段加速,最快 3 倍。畫面是照著聲音排出來的,不是事後剪到對齊的。

自己排的拍子表。 卡點短片選每分鐘 120 拍,每秒 30 格時一拍剛好 15 格,每一拍都落在整數格上。一張拍子表同時決定音效放哪、畫面什麼時候動。

卡點短片(58 秒) · 在 YouTube 開啟 ↗

角色動畫的每個動作也對準 120 拍,所以動畫做完,再配哪一種音樂都對得上。同一支 15 秒的動畫配了三種:

A|AI 作曲(Lyria):一次對上,誤差 0.019 秒 · 在 YouTube 開啟 ↗
B|程式寫樂譜:音符直接寫在拍子上 · 在 YouTube 開啟 ↗
C|現成曲庫:原曲每分鐘 126 拍,放慢 4.8% 到 120 拍 · 在 YouTube 開啟 ↗

一首現成的歌。 MV 的歌速度從每分鐘 134.5 拍慢慢飄到 137.5 拍,固定間隔的格子會越差越多,所以用程式把 271 個拍子一個一個找出來。

MV(2 分鐘) · 在 YouTube 開啟 ↗

生成的舞要踩在這首歌上,生成時就要把歌給模型:

舞怎麼生成 生成時聽到什麼 有沒有踩拍
Grok,事後換上我們的歌 它自己配的音樂 沒有
H3,生成時給我們的歌 我們的歌 有,7 段中 4 段明顯
Grok,直接用它自己配的音樂 它自己配的音樂 10 段中 1 段,要抽卡

模型自帶的配樂。 Grok 的舞配的是它自己的音樂,踩不踩拍要看運氣,得多生幾段挑出踩拍的那段,也就是抽卡。15 秒以內的短片,可以直接把人剪下來換背景,Gorden Sun 就這樣做了一支。要更長,每段自帶的音樂接不起來,可以把其中一段丟進 Suno 延伸成完整的歌,再用這首歌當時間表。

怎麼輸出成檔案

輸出只有兩種,取決於動畫聽誰的時鐘:

  • 跟著瀏覽器的時鐘:只能即時錄影。 CSS 動畫照瀏覽器自己的時間跑,不會等人。投影片教學片試過一格一格拍,太慢;少拍幾格,又拍到動到一半的畫面,最後改成照正常速度錄影
  • 問「現在第幾格」:可以逐格算。 Remotion、Canvas、SVG、WebGL 和 Python 的畫面,都是程式問「現在第幾格」,再把那一格畫出來。每一格互不相干,所以可以慢慢畫,也可以同時開好幾個瀏覽器分頭畫

生成模型的片段,進到逐格算這一步當素材:MV 的每一格都先剪出人物、找出身體的 33 個點,再畫特效。

代價

要花多少錢和時間

錢:生成按秒算,程式畫的片算 AI 用量

生成影片的價錢,換算成每秒(2026 年 9 月):

模型 條件 價錢 每秒
Seedance 2.5 720p、5 秒、帶聲音 1.19 美元 約 0.24 美元
Grok(付費 API) 720p、10 秒 實扣 1.41 美元 約 0.14 美元
H3(付費 API) 1344×768、10 秒、給歌 0.80 美元 約 0.08 美元
LTX-2.5、H3(自己的顯示卡) 5 秒 只有電費 —

Grok 照定價頁算是 0.80 美元,實際扣了 1.41,差額原因沒查到。

一支 2 分鐘的 MV,全用 H3 付費生成約 9.6 美元,全用 Seedance 約 29 美元。這支 MV 改用自己的顯示卡和 Grok 訂閱生成,沒有另外付錢。

程式畫的片沒有按秒計價,花的是 AI 寫程式的用量。MV 合成程式之前先做了一支 10 秒的測試片,同一份規格,照 API 價換算,Codex 用了約 1.14 美元,Claude Code 約 6.68 美元。平常用訂閱方案就包在月費裡。

整個實驗另外付的錢一共約 3.44 美元:比較 Grok 和 H3 付費生成的 2.25 美元(含一張角色圖 0.04 美元),加上 Seedance 1.19 美元。訂閱月費、顯示卡和電費沒算進去。

時間:看輸出方式

  • 即時錄影:片多長,就錄多久。10 分 23 秒的投影片教學片,錄 10 分 23 秒
  • 逐格算:格數 × 每格要畫多久 ÷ 同時開幾個瀏覽器。卡點短片 1755 格、開 6 個瀏覽器,約 5 分鐘;白板片 67 秒、開 4 個,21 秒畫完。每格要畫多久看畫法:角色動畫的手繪筆刷在 M4 Mac 上一格 0.27 秒,電腦忙的時候拉長到 1.9 秒
  • 生成:RTX 3090 上生一段 5 秒,LTX-2.5 約 80 秒,H3 約 110 秒;Seedance 在雲端 191 秒;H3 付費 API 生 10 秒約 3 分半

這些都是同一台機器量一次的數字,電腦同時在跑別的東西時會慢很多。

想做哪種片

想做的片 畫面 時間跟著 錢 時間取決於
教學、講解 網頁投影片或程式畫線 旁白 AI 用量 片長(錄影)或格數(逐格算)
卡點短片 程式畫 自己排的拍子表 AI 用量 格數 ÷ 同時開幾個
角色動畫 程式逐格畫,先畫角色表和分鏡 固定拍速,事後配樂 AI 用量 每格畫多久(筆刷很慢)
配指定歌的舞蹈 MV 生成舞蹈+程式特效 現成的歌,生成時給模型 每秒約 0.08 美元(H3 付費),或自己的顯示卡 生成片段的數量
15 秒內的音樂短片 生成舞蹈+換背景 模型自帶配樂 訂閱內 要抽幾次才踩拍
單段寫實畫面 生成模型 — 每秒 0.08 到 0.24 美元,或自己的顯示卡 每 5 秒約 1 到 3 分鐘
帶走這段

先問畫面聽誰的時鐘

畫面從哪來、跟著什麼時間走、怎麼輸出,這三件事決定了能做多準、要花多少。

把下面這段貼給你的 AI,讓它對照你手上的影片專案。

先讀這篇:https://blog.joneshong.com/zh/blog/ai-video-how-it-moves 文章把「讓畫面動起來」拆成三件事: 1. 畫面從哪來:程式畫(CSS/SVG/Remotion/WebGL/Canvas)、生圖模型、影片生成模型 2. 跟著什麼時間走:旁白、自己排的拍子表、一首現成的歌、模型自帶的配樂 3. 怎麼輸出:跟著瀏覽器時鐘即時錄影,或問「現在第幾格」逐格算 請到我的專案裡查: - 動畫是跟著時鐘跑,還是依格數算?(搜 @keyframes、requestAnimationFrame、useCurrentFrame、frame / fps) - 畫面和聲音有沒有共用同一份時間表?時間表從哪來? - 有沒有呼叫影片生成模型?生成時有沒有把要對齊的音樂一起給它? 照文章的做法,告訴我哪一層最該改、改了之後錢和時間會怎麼變。 如果我的專案根本不是用程式或生成模型做影片,直接說不適用。
參考資料

延伸閱讀

七篇製作筆記

資源為什麼重要
投影片教學影片CSS 動畫為什麼只能即時錄影
手繪白板影片先念旁白,再把筆畫排進旁白的時間
Remotion 自我介紹程式寫得出動畫,素材得先備好
AI 角色動畫動手前先畫角色表和分鏡表
動畫配樂三種做法動作先對準拍子,事後怎麼配樂都對得上
卡點影片給參考影片,學到長相,學不到時機
AI 做 MV生成舞蹈時要聽得到歌

做法來源

✦ 帶走這段