きっかけは一本のMMD Short

2026年10月4日、hololiveの〈Go Wild〉のMMD Shortを見ました。モーションはコミュニティ作者のTaro²が作って公開配布していたもので、私の手元にはちょうど3Dキャラクターの陽菜がいました。

踊らせてみると、前の記事〈絶妙なダンスが絶望的なダンスに。AIで直せる？〉の結論を思い出しました。直すならモーションデータを直す。では、そのデータを実際のダンス動画から直接読み取れないでしょうか。

YouTubeで〈くじら〉の動画を三本見つけて試し、結果が安定してからダンサーに連絡しました。意外だったのは、モーションキャプチャースーツがなくても、スマートフォンの動画をAIに見せれば使えるダンスモーションが取れたことです。

二つの方法を表で比較

MMDは速いものの、守るべき規約はReadmeにあります。動画モーションキャプチャーは自由度が高い反面、修正が必要で、先にダンサーにも確認しなければなりません。

MMD：一晩で14曲。変換の前後で問題が出た

モーションは既にあります。注意が必要なのは変換前の規約と、変換後のプレーヤーでした。

変換と再生は別の段階です。両方を計測しました。

カメラ：形容詞には単位がない。試作動画にはある

v5が冒頭の〈Go Wild〉です。v1～v4は限定公開の動画です：v1、v2、v3、v4。各版の動画と説明は〈カメラワーク五版〉というメモにあります。

カメラワークは、強さ、ワンカット内の動きか切り替えか、カメラをどこに置くかの三つを指定する必要がありました。言葉にできなければ、AIにそれぞれ3秒の試作動画を作らせて選びます。

カメラワークをデータにする：用語集とチェッカー

カメラワークをテンプレート集に分け、プログラムが抽選、検査し、不合格なら差し替えるようにしました。動作の中ほどにカット点が来ること、隣り合うカットの角度差が十分あること、主役がフレームから出ないことを数値で検査します。同じ規則でMMDの14曲を配置しました。〈くじら〉のステージ版では、Meliesのカメラワーク索引から整理した用語集を使い、64種類の標準的なカメラワークから31カットを組みました。

生成器は自由に選べます。レンダリング前に悪いカットを止めるのはチェッカーです。

別の方法：AIがスマートフォンの動画から動きを読み取る

一言で言えば、SAM 3D Bodyで動画の人物の3D骨格をフレームごとに推定し、モーションファイルに変換して陽菜に適用します。五回修正し、毎回動画を残しました。

初めて直接キャプチャーの動画を見たときは驚きました。修正前なのに、同じダンスだと分かりました。

動画選び：いちばん安い修正

試した三本の動画は条件がかなり違いました：

解像度が最も低いCは、腕の揺れが他の二本の三～四倍でした。最も暗いAはむしろ揺れず、暗さが影響したのはフェードインの数フレームだけです。

条件の悪い動画は、後からいくら修正しても補えませんでした。

骨格と関節：基準姿勢が違い、キャラクターが持ちこたえられない

骨の向きをそのまま合わせると、二つの骨格の立ち姿の差まで陽菜に押し付けてしまいます。「静止姿勢から何度回転したか」を写すと、陽菜はまっすぐ立ちました。ただし脚だけは例外で、向きを合わせる方法に戻しました。

もう一つはキャラクター側の限界です。関節を一つずつ動かしてメッシュが崩れ始める角度を探し、モーションをその範囲内に収めました。その代わり、しゃがみ込みや脚上げはダンサーより控えめになります。

限界表はキャラクターの仕様であって、モーションの間違いではありません。

動く実験から作品へ

表の最後の360°映像は、正面と側面にカメラを置いた二本の8K動画にしました。パソコンではプレーヤーをドラッグしてステージ全体を見回せます。スマートフォンのYouTube Appでは端末を動かして見られ、VRヘッドセットにも対応します。

レンダリングが再生より遅いとき、時間に関わる処理はすべて動画時間に合わせます。カメラの問題はレンダリング前に止めなければなりません。

自分で視点を回す：MMDの14曲を切り替え可能

動画で見られるのは私が決めたカットだけです。〈Go Wild〉と同じ一群のMMDダンス14曲は、自分で操作できるステージにもしました。右下でYouTubeのShortを再生し、ステージ上の陽菜が同じモーションを動画の時刻に合わせて踊ります。いつでも一時停止でき、左下のメニューで曲を替え、ドラッグで陽菜の周りを回り、拡大縮小もできます。

Taro²の規約ではモーションファイルの再配布は禁止です。そのため、ステージには暗号化したモーションを分割送信し、ダウンロードは提供しません。曲はYouTubeプレーヤーで再生し、ページ自体には音声を置きません。

新しいタブでステージを開く ↗（スマートフォンでは全画面のほうが操作しやすいです）

スマートフォンでは右下のYouTubeプレーヤーが陽菜の脚に重なります。パソコンのほうが全体を見やすいです。

公開前に確認し、アップロード前に短くする

これは他人のダンスです。公開前に三人のダンサーへ確認しました。一人は同意し、一人は公開を望まず、一人からは返事がありませんでした。公開したのは同意を得た人の動画だけです。

アップロード前にはもう一つ問題がありました。Content IDの権利主張が付いたShortは、1分を超えると全世界でブロックされます。MMDの一本は58秒に切って復旧し、〈くじら〉は60.6秒から59.8秒に切りました。

ついでに試したこと

寄り道は一通り試しました。残ったのは、動きをどこから得るか、カメラをどう配置するかの二点です。

できたことと、まだできないこと

2026年10月の時点で、条件のよいスマートフォンのダンス動画一本とAIがあれば、3Dキャラクターに一曲まるごと踊らせられました。