スマホで撮った1本のダンス動画で、3Dキャラクターが1曲まるごと踊る

陽菜 · 実写動画をVRMAに くじら 美弦さんのオリジナル振付です。上のShortは、上半分が美弦さんの元動画、下半分が陽菜で、カメラは元動画に合わせています。スマホを固定して撮ったダンス動画から、AIで1フレームごとの3D骨格を読み取り（SAM 3D Body）、モーションファイル（VRMA）に変換して陽菜に当てました。1曲まるごと、約60秒です。動きはAIによる推定なので、元の振付と細部が異なる部分があります。 アイドルステージ版 · 31種類のカメラワーク 同じ動きを、アイドル衣装とお姫様ハーフアップでコンサートのステージで踊らせました。カメラはカメラワークの一覧から自動で組み、口は歌声に合わせて開閉します。 31 カット 15 種類のカメラワーク カメラの最低高さ 1.01 m 59.8 秒 そのままのキャプチャから第5ラウンドまで · 同じ冒頭20秒 どれも3分割で、左が元動画、中央が陽菜（カメラは元動画に合わせています）、右が横から見た陽菜です。古い順に並べています。 そのままのキャプチャ · 未修正 推定した骨格をそのまま当てた状態です。猫背でうつむき、つま先が上がり、骨盤がねじれて、スカートがずっとめくれ上がっています。 全曲の骨格推定 806 秒（GPU） 第1・2ラウンド · 変形と関節の限界 推定モデルと陽菜では静止姿勢が違うので、「各ボーンが静止姿勢からどれだけ回ったか」を写す方式に変えました。体がまっすぐになり、靴底が床にぴったり着きます。さらに、陽菜のメッシュが耐えられる関節角度の範囲に動きを収めました。 床にめり込んだ足裏 651 → 0 フレーム 関節の限界超え 0 フレーム 第3ラウンド · 足の滑り 陽菜は元々その場に固定されていたので、ダンサーが移動すると接地した足が床を滑っていました。接地した足を着地点に固定し、体の位置を足から逆算するようにしたので、ダンサーと一緒に床の上を移動します。 接地中の滑り 0.82 → 0 cm／フレーム 接地中の浮き 13 → 0 フレーム 接地 左 40 回 · 右 39 回 第4ラウンド · カクつきの除去 AIは1フレームずつ独立して姿勢を推定するので、推定された足はフレームごとに跳ねます。骨ごとに時間方向へ少しだけ平滑化をかけ、2回の接地の間の足の上げ下げは補間でつなぎました。 足の加速度 p99 27.8 → 6.1 cm／フレーム² 第5ラウンド · 脚の形、フェードインを飛ばす 陽菜の立ち方がダンサーより狭く、両膝がくっついていたので、太ももとすねはダンサーの向きにそのまま合わせるようにしました。元動画は冒頭がフェードイン、最後がフェードアウトしていて、いちばん暗いフレームは正しく推定できないため飛ばしています。上の2本の完成版はどちらもこの版のモーションファイルです。 スキップ 冒頭 28 フレーム · 末尾 10 フレーム Credit Music : Yaffle / くじら (feat. Sahnya) Choreography : 美弦 Motion : AI motion capture from the original video (SAM 3D Body) 元動画 : youtube.com/shorts/W1fty0Tr4QY 作り方 スマホで撮ったダンス動画から、SAM 3D Body で1フレームずつ3D骨格を推定し、VRMAに変換して陽菜に当てています。そのまま当てると猫背になり、つま先が上がり、足が床を滑り、動きがカクカクします。5回の修正でようやく踊っているように見えるようになり、毎回「直ったかどうか」を測ってから次に進みました。 検証では冒頭20秒だけをレンダリングしましたが、モーションファイルは最初から1曲分変換していたので、60秒に延ばすのはレンダリングし直すだけでした。2本の完成版はどちらも、曲から分離した歌声に合わせて口が開閉し、まばたきは動画の時間で入れています。1フレームのレンダリングは再生より遅いので、パソコンの時計でまばたきさせると動画の中ではずっとまばたきし続けます。上の5本の過程動画がまさにそれです。ステージ版はさらに31カットを自動で組みました。振付は未成年のダンサーのものなので、カメラは1 mより下げず、背後からは全身だけを撮ります。このルールはカット割りのプログラムに書き込み、レンダリング前に弾いています。 Content IDで楽曲が申し立てられたShortは、1分を超えると全世界でブロックされるため、2本とも59.8秒に切っています。 未解決：太ももを前に上げながら外へ開く瞬間（並べた版の55.9秒、両手を上げて脚を上げるところ）、陽菜のスカートのメッシュに穴が開きます。関節ひとつずつの限界は測りましたが、組み合わせたときの限界はまだ測っていません。 振り返って 同じ手順は、ほかの2人のダンサーが〈くじら〉を踊った動画にも使い、同じように動きを取り出せました。公開前にそれぞれに確認したところ、お一人は公開を望まれず、お一人からは返信がなかったため、どちらも載せていません。 お願いするときは、元動画と並べるか、陽菜だけにするかを選べるようにしました。ダンサーは未成年なので保護者の方にも見ていただき、公開後でもいつでも取り下げられることを先にお伝えしました。 並べたプレビューをご覧になった美弦さんのお父様から、ご家族で楽しんで見ていただけたこと、アニメ版よりも本当に踊っているように感じていただけたことを伺い、公開もご快諾いただきました。この方向で間違っていないと一番確信できた瞬間でした。 骨格推定：SAM 3D Body｜ボーカル分離：demucs｜Claude Code（Opus 5.5）と一緒に制作 前回の記事「『ワンダンス』が『絶望ダンス』に？ AIで救えるのでしょうか？」の結論は「直すなら動きのデータを直す」でした。このノートはそれを実際にやった結果です。カメラワークとMMDのVRM化は前の2つのノートに書いています｜2026年10月16日