沒動捕服，
AI 看影片就讓角色跳完整首
兩週內，我做的 3D 角色陽菜跳了兩種來源的舞：社群配布的 MMD 動作，和一支手機拍的真人舞蹈影片。後者沒有動捕服，只靠 AI 看影片估出骨架，整首 60 秒都跳得出來。
起因：一支 MMD Short
實驗日期：2026 年 10 月 4 日到 16 日；360° 影片和互動舞台是 10 月 17 到 19 日補的。我挑素材、聯絡舞者、看片拍板；轉換、量測和排鏡的程式由 AI（Claude Opus 5.5）寫。模型改版很快，結論以這幾天的版本為準。
2026 年 10 月 4 日，我看到一支 hololive〈Go Wild〉的 MMD Short。動作檔是社群作者 Taro² 做好、公開配布的，而我手上剛好有一個現成的 3D 人偶：陽菜。
跳起來之後，我想到前一篇〈絕妙舞步變絕望舞步，AI 救得回來嗎？〉的結論：要修就修動作資料。那如果動作資料直接從真人影片讀出來呢？
我在 YouTube 找了三支〈くじら〉的影片來試，效果穩定之後才寫信問舞者。讓我最意外的是：沒有動捕服，只靠 AI 看一支手機影片，抓出來的舞就夠用。
MMD：一晚 14 首，壞在轉換的前後兩端
動作是現成的，要顧的是轉換之前的規約，和轉換之後的播放器。
| 哪一關 | 會發生什麼 | 怎麼處理 |
|---|---|---|
| 規約 | 轉出來的 VRM 動作檔也算再配布；只列動作作者會漏人 | 動作檔不公開；互動舞台的動作加密分段傳送、不給下載；credit 列原曲、原始舞者、動作作者三層 |
| 腿的 IK | 照 MMD 跑 40 圈，腳踝還差約 3% 腿長 | 算到收斂；誤差超過 0.5% 就不往下做 |
| 播放器 | 每格寫表情、把扠腰的手推開、把角色釘回原點 | 播別人做好的舞時三個都關掉 |
| 表情 | 只對得上 7 個（眨眼、笑、五個母音） | 嘴型照作者手打的，不是照歌聲 |
轉換和播放是兩層，兩層都要量。
換一條路：AI 從手機影片讀出動作
做法一句話：SAM 3D Body 一格一格估出影片裡那個人的 3D 骨架，轉成動作檔，再套到陽菜身上。這一段修了五輪，每一輪都有影片。
| 輪次 | 修什麼 | 量到的變化 |
|---|---|---|
| 直接捕捉 | 還沒修：駝背、腳尖翹起、骨盆扳歪 | 整首骨架估計 806 秒（一張 RTX 3090） |
| 第一、二輪 | 兩副骨架的零點、陽菜的關節極限 | 腳底穿進地板 651 → 0 格；超出關節極限 0 格 |
| 第三輪 | 腳步飄移：踩地的腳鎖在落點 | 踩地滑動 0.82 → 0 cm／格；懸空 13 → 0 格 |
| 第四輪 | 抽搐：每根骨頭做時間平滑 | 腳的加速度 p99 27.8 → 6.1 cm／格² |
| 第五輪 | 腿形；跳過淡入淡出估不準的格 | 跳過頭 28 格、尾 10 格 |
第一次看到「直接捕捉」那支時我很意外：還沒修，已經看得出是同一支舞。
從可行到作品
| 要補的 | 做法 |
|---|---|
| 整首 | 驗證只渲前 20 秒，動作檔一開始就轉整首，延長只要重渲 |
| 對嘴 | 從歌裡分離人聲，閉、半開、開各約三分之一（554／611／629 格） |
| 眨眼 | 照影片時間每 2.5～5.5 秒眨一次；照電腦時間會眨個不停 |
| 鏡頭 | 攝影機不低於 1 m、背後只拍全身；第一版有 7 鏡角度太低，寫成檢查擋掉 |
| 360° | 觀眾會轉頭看背後：補上背後的觀眾、桁架、光環和兩側觀眾，渲成 8K（7680×4096）正面、側面兩支 |
表格最後一列的 360° 渲成了兩支 8K 影片，攝影機一支在她正前方、一支在側面。在電腦上拖曳播放器的畫面就能環顧整個舞台；手機上開 YouTube App 可以直接轉動手機看，VR 頭盔也能看。
渲染比播放慢的時候，跟時間有關的都要照影片時間；鏡頭的責任要在渲染前擋。
自己轉著看：14 首 MMD 都能換
影片只能照我排好的鏡頭看。〈Go Wild〉那批 14 首 MMD 舞，我另外做成一個可以自己操作的舞台：右下角播 YouTube 上的那支 Short，台上的陽菜跳同一支動作，時間跟著影片走。可以隨時暫停，從左下角的選單換歌；拖曳畫面能繞著她轉，也能拉近拉遠。
動作檔照 Taro² 的規約不能再配布，所以舞台上的動作是加密分段傳送、不提供下載；歌從 YouTube 的播放器播，頁面本身不放任何音訊。
在新分頁開啟舞台 ↗（手機上整頁開比較好操作）
手機上，右下角的 YouTube 播放器會蓋到她的腿；在電腦上看比較完整。
延伸閱讀
| 資源 | 為什麼重要 |
|---|---|
| dekopon〈Go Wild〉MMD Short | 整件事的起點，看到它我才想讓陽菜跳舞 |
| Taro²（BowlRoll） | 14 首動作的作者；他的 Readme 是我讀規約、列三層 credit 的範本 |
| JIZURA | 照歌詞時間產生字卡（MIT 授權）；用它才發現平貼的背景看不出運鏡 |
| Melies：Cinematic Techniques | 運鏡詞表的來源，把「強烈運鏡」換成有名字、有定義的運鏡 |
| SAM 3D Body | 從單支影片估 3D 骨架，第二條路的起點。Meta 的 SAM License（2025-11-19 版）：免費、可修改與再散布，發表用它做出的成果時要註明用了 SAM |
| FlowerDance | 歌轉舞模型（ECCV 2026）；試過才知道照歌生成的舞離 trace 還有多遠 |
| 〈絕妙舞步變絕望舞步，AI 救得回來嗎？〉 | 那篇「要修就修動作資料」的結論，讓我直接去試真人影片 |
| 〈分享自製換裝娃娃：從一張設計圖到 3D〉 | 陽菜是怎麼做出來的 |
| 三則筆記：運鏡五版、MMD 一晚 14 首、動作捕捉 | 每一版的影片和量測細節都在這裡 |
音樂、舞蹈與動作的權利
文中的歌曲、舞蹈和動作都屬於原權利人，這裡只為說明實驗結果而引用。權利人若希望移除，請留言告知。
| 類型 | 作品與權利人 | 用在哪 |
|---|---|---|
| 音樂 | Yaffle〈くじら (feat. Sahnya)〉 | 〈くじら〉並排版、舞台版、360° 兩支與五支過程影片的音軌，都在 YouTube 上播放 |
| 編舞與原片 | 美弦（@mitsuru_SelfChoreograph） | 影片動捕的動作來源與並排截圖；公開前已徵得同意 |
| 音樂與編舞 | 轟はじめ〈Go Wild〉（hololive） | 〈Go Wild〉運鏡五版的音軌與舞蹈；MMD 動作由 Taro² 從轟はじめ本人的 Short trace |
| MMD 動作 | Taro²（BowlRoll 配布） | 14 首 MMD 舞蹈；互動舞台上的動作加密分段傳送、不提供下載 |
| 互動舞台的歌 | 14 首各屬原權利人 | 只透過 YouTube 播放器播我上傳的 Short，舞台頁面本身不放任何音訊 |