一支手機拍的舞蹈影片，讓 3D 角色跳完整首

陽菜 · 真人影片轉 VRMA くじら 美弦的原創編舞。上面那支 Short 上半是她的原片，下半是陽菜，鏡頭對齊原片：一支手機固定機位拍的舞蹈影片，用 AI 讀出每一格的 3D 骨架（SAM 3D Body），轉成動作檔（VRMA）套到陽菜身上，整首約 60 秒。動作是 AI 推估的，細節和原編舞會有出入。 偶像舞台版 · 31 種運鏡 同一段動作，換上偶像服和公主頭，在演唱會舞台上跳；鏡頭從運鏡詞表自動排，嘴跟著人聲開合。 31 個鏡頭 15 類運鏡 攝影機最低 1.01 m 59.8 秒 從直接捕捉到第五輪 · 同一段前 20 秒 每支都是三格：左邊原片，中間陽菜（鏡頭對齊原片），右邊陽菜側面。由舊到新排。 直接捕捉 · 還沒修 估出來的骨架直接套上去：駝背、低頭、腳尖翹起，骨盆被扳歪，裙子一直被掀起來。 整首骨架估計 806 秒（GPU） 第一、二輪 · 形變和關節極限 估計模型和陽菜的靜止姿勢不一樣，改成照抄「每根骨頭離開靜止姿勢轉了多少」，身體挺直、鞋底踩平；再把動作收在陽菜的網格撐得住的關節角度內。 腳底穿進地板 651 → 0 格 超出關節極限 0 格 第三輪 · 腳步飄移 陽菜原本被釘在原地，舞者一移動，踩地的腳就在地上滑。改成踩地的腳鎖在落點、身體位置由腳反推，她會跟著舞者在地板上移動。 踩地滑動 0.82 → 0 cm／格 踩地懸空 13 → 0 格 踩地 左 40 次 · 右 39 次 第四輪 · 去抽搐 AI 一格一格獨立估姿勢，估出來的腳每格都在跳。每根骨頭做一點時間上的平滑，兩次踩地之間的抬腳用插值接起來。 腳的加速度 p99 27.8 → 6.1 cm／格² 第五輪 · 腿形，跳過淡入 陽菜的站姿比舞者窄、兩膝靠在一起，大腿和小腿改成直接對齊舞者的方向。原片開頭淡入、結尾淡出，最暗的那幾格估不準，直接跳過。上面兩支成片都是用這一版的動作檔。 跳過 頭 28 格 · 尾 10 格 Credit Music : Yaffle / くじら (feat. Sahnya) Choreography : 美弦 Motion : AI motion capture from the original video (SAM 3D Body) 元動画 : youtube.com/shorts/W1fty0Tr4QY 怎麼做的 手機拍的舞蹈影片，用 SAM 3D Body 逐格估出 3D 骨架，轉成 VRMA 套到陽菜身上。直接套上去會駝背、腳尖翹起、腳在地上滑、動作一抽一抽，修了五輪才像在跳舞，每一輪都量過「修好了沒」再往下做。 驗證時只渲染前 20 秒，但動作檔一開始就轉了整首，延長到 60 秒只要重新渲染。兩支成片的嘴都跟著從歌裡分離出來的人聲開合，眨眼照影片時間排：渲染一格比播放一格慢，照電腦時間眨，影片裡就會一直眨眼，上面五支過程影片就是這樣。舞台版另外自動排了 31 鏡；舞步是未成年舞者的，所以攝影機不低於 1 m、從背後只拍全身，規則寫在排鏡程式裡，渲染前就擋掉。 歌曲被 Content ID 認領的 Short 超過 1 分鐘會全球封鎖，所以兩支都剪成 59.8 秒。 還沒解決：大腿同時往前抬又往外張的時候（並排版 55.9 秒雙手上舉、抬腿那一下），陽菜的裙子網格會破洞。單一關節的極限量過了，組合起來的極限還沒量。 回頭看 同一套流程也用在另外兩位舞者跳〈くじら〉的影片上，動作一樣抓得出來。公開前逐一詢問：一位不希望公開，一位沒有回覆，所以這兩支都不放。 問的時候給選項：跟原片並排，或只有陽菜；舞者未成年，也請保護者一起看過，並先講好公開後想撤下隨時可以撤。 美弦的父親看完並排的預覽回信，說一家人看得很興奮，覺得比動畫裡的版本更像在跳舞，也同意公開。這是這次最確定方向沒走錯的時候。 骨架估計：SAM 3D Body｜人聲分離：demucs｜跟 Claude Code（Opus 5.5）一起做 前一篇〈絕妙舞步變絕望舞步，AI 救得回來嗎？〉的結論是「要修就修動作資料」，這一則是照著做的結果；運鏡和 MMD 套 VRM 寫在前兩則筆記｜2026 年 10 月 16 日