手繪白板影片:旁白講到哪,筆就畫到哪
2026年9月27日 · 更新 2026年9月28日 · 看到自 YouTube · 0 次瀏覽
一支 67 秒的白板影片:畫面像有人拿筆邊講邊畫,旁白講到哪,筆就畫到哪。
起點是 Simon聊AI 的一篇文章。我只丟了一句「研究一下這個怎麼辦到的」,又問「用我們自己的 IndexTTS、用我的聲音也可以?」AI 就照文章做了這一支。
怎麼做,誰做的
- Claude Code 讀原作文章,寫旁白,也寫每一段要畫什麼。兩件事寫在同一個檔案裡
- 旁白切成 12 小段,每一小段配一組要畫的東西,全片一共 72 個
- Codex 畫角色小圖:一次畫一張四格,再切成 4 張貼圖
- 旁白用我的聲音念:IndexTTS 2 在家裡另一台有顯示卡的電腦上跑,學我的聲音
- 程式把每一格畫出來,接成影片,再燒上字幕
筆怎麼跟上旁白
- 先念,再畫。每一段旁白先念好,量出它真正念了幾秒
- 排進那段時間。這一段要畫的東西,就排在這段旁白的時間裡。線條越長畫越久,字是一個字一個字寫
- 畫不完就借時間。可以借下一段開頭一點時間;再不夠,整段畫快一點,最快快到 3 倍
- 照秒數畫出每一格。拍的時候,程式問「現在是第幾秒」,就把那一秒該畫到哪裡畫出來。筆也停在線頭上
- 字幕用同一份時間。字幕文字用原稿,時間跟著旁白走
所以畫面和聲音對得上,不是事後剪的,是一開始就照旁白的時間排好的。
畫面怎麼動起來
線條是網頁上的向量線條(SVG)。每一格,程式算出每條線該露出多少。每一格只看「現在第幾秒」,所以可以同時開 4 個瀏覽器分頭畫,67 秒的片 21 秒就畫完。
原作標題寫 Codex + Excalidraw。真正畫線的是 rough.js,拍畫面的是 Playwright,接影片的是 ffmpeg;Codex 負責的是角色小圖。
卡住的地方
問題:AI 自己抽畫面檢查,發現旁白已經念到第三段,第三格畫面還沒開始畫。
原因:一段裡要畫的東西太多,最多的一段有 25 個,筆畫不完。
解法:筆畫快一點、把太滿的段落拆開、斜線填色改成整塊塗滿。最慢的地方從落後 2.7 秒縮到 2.4 秒。成片最後還有一處落後大約 2.5 秒,沒有再修。
AI 做到哪
做得到
- 自己發現畫面落後,還寫了一支小工具,量每一段落後幾秒
- 換掉念稿的工具,畫畫和字幕的程式一行都不用改
- 用語音辨識把旁白聽回來比對,20 句全對
還要人幫忙
- 自動檢查全部通過,每句話頭尾的「喀」一聲是我用耳朵聽出來的
- 它先猜錯原因,我第二次說有雜音,它才找到
- 它聽不出「講對比」被念成「將對比」算不算念錯
做法來自 Simon聊AI 的〈Codex + Excalidraw 带你一句话出片〉,和他開源的 whiteboard-video
2026 年 9 月 27 日
0 個讚