AIによるMV制作：ダンスを生成する際、曲を聴きながら踊らせると、リズムに合わせて踊れるようになる

2分間のMV：歌、キャラクター、ダンスのすべてがAIによって作成されたものだ。ダンスがリズムに合っているかどうかは、AIが生成する際に歌を聞いていたかどうかにかかっている。 私は最初、「誰かが誰かに取って代わるということではなく、単にあらゆる可能性を一度試してみるだけだ……費用、時間、効果を計算するんだ」と言い、比較を終えてから、「Sunoで生成した動画を組み合わせて、2分のMVを作れないだろうか？」と尋ねた。 どのように行うのか、誰がやったのか Grokが緑色の背景でキャラクターの全身像を描く。後で人物を切り抜きやすくするためだ Sunoが「弾けろ HIBANA」という曲を制作し、無料枠を利用した ダンス動画は12の部分に分かれる。7つはMiniMax H3を使い、自宅のGPUで生成。1つ約5分。残りの5つはGrokのサブスクリプションで生成した。 Codexが合成プログラムを作成し、Claude Codeが仕様書を作成し、最終的に検収を行う Codexがもう一度最初からレビューし、本当の誤りを4つ見つけた AIは当初、H3の有料版を推奨しており、2分間で約9.6ドルかかるとのことでした。私は自宅のグラフィックカードとGrokのサブスクリプションを利用することにしたため、MV自体には追加費用はかかりませんでした。 画面はどうやって動くの？ 2層に分かれています： ダンスのステップ：これはプログラムで描いたものではなく、H3が直接生成した動画です。生成時に、その部分の曲も一緒に読み込ませました。 特殊効果と編集：Pythonで1フレームずつ計算し、毎秒24フレーム。まずキャラクターを切り抜き、体の33箇所を特定し、体に連動して動く線や火花を描き込み、リズムに合わせてカットを切り替える 曲のテンポは1分あたり134.5拍から徐々に137.5拍へと変化していくため、プログラムは271拍を1拍ずつ個別に検出し、固定のグリッドは使用しません。 同じ画像から、3つの方法でダンスを生成する 方法 ダンスに合わせた音楽 ダンスは拍子に合っているか Grok（従量課金制） 私たちの歌は、作られている時、Grokには聞こえなかった ない Grok（サブスクリプションプラン） 私たちの歌は、作られている時、Grokには聞こえなかった ない MiniMax H3 私たちの曲も、生成するときに一緒に渡した ある（7段のうち4段で顕著） Grok：生成時に付くBGMを使う Grokが独自に生成したもの 運次第なので、いくつか生成してから選ぶ（10個のうち1個） Grokのどちらの生成方法でも、生成時に自動でBGMがついてきますが、MVの場合は私たちの曲をつける必要があります。自動でBGMがつくパターンについては、下の「Grokが生成時に付けるBGMも素材として使える」をご覧ください。音楽の拍（リズム）に合っているかどうかは、目視ではなく統計的な手法で計測しています。 AIはどこまでできるのか できる 仕様策定、制作、人物の切り抜き、エフェクトの追加から検収まで、一連の工程をすべて完了させた Codexの検証により、4つの実際の誤りが発見されました。例えば、10秒間の無音部分が1分あたり139.5拍と計測されていたなどです。 MVの制作に先立ち、10秒のテスト映像を作成：同じ仕様に基づき、CodexとClaude Codeでそれぞれ1本ずつ作成し、両作品とも検収に合格した。 まだ誰かの助けが必要だ 音楽を聴かずに生成されたダンスは、後からどうにもならない：Claude CodeとCodexがそれぞれプログラムを書いてダンスのステップをビートに合わせてみたが、どちらも独自のテストには合格したものの、ダンスは依然としてビートに合っていなかった H3であっても、MVの7つのパートのうち、はっきりとビートに乗っているのは4つだけだ H3 指示通りに緑色の背景を使わなかったため、仕方なくAIで背景を削除した テンポ測定ツールが毎分136拍を74拍と誤測定していた。後で修正した。 一部のシーンで骨格の表示が消えていないことに私が気づき、サビの各フレーズの冒頭2拍だけ光らせるように変えた Grokが生成時に付けるBGMも素材として使える Grokで動画を生成すると、CLIでもAPIでもデフォルトでBGMが付く。ただし1回に生成できるのは十数秒だけ（私たちは10秒版と15秒版を作った）。複数の動画を生成しても、BGMはそれぞれ別物なのでつなげられない。 しかし、素材として使う分には十分です： 15秒以内の短い動画：「緑色の背景＋最初からBGM付き」の動画から背景を切り抜き、別の背景に替えれば1本できる。Gorden Sunもこの方法で作った。Grokが15秒の元動画を生成し、Opus 5.5が背景の切り抜き、レイアウト、編集を担当した より長い映像：その一部の音源をSunoに読み込んで1曲の完成形に拡張し、その曲を動画全体のタイムラインとして使用する ダンスのステップが偶然にも付属の音楽のビートにぴったり合うかどうかは運次第であり、ビートに合ったものが欲しければ、何本も生成してから選ぶしかない。まるでガチャを引くようだ。私たちがMVを作った際、Grokのその5本の動画は実際すべて独自の音楽が付いていた。その後さらに15秒の動画を4本再生成し、さらに早い段階でのテスト動画1本と合わせて計10本となり、それぞれの動画固有の音楽に合わせて測定したところ、明らかにビートに合っていたのは1本だけだった。Gorden Sunのその元の動画を測定したところ、ビートに合っていた。 デモ動画には、拍子が合っていたその1本を使った。背景を切り抜き、プログラムで作った背景とテキスト、手の動きに合わせて動く線を重ねた。テキストは動画に付いていたBGMの拍子に合わせて跳ねる。全10秒。 どのセクションもわずか10〜15秒で、Grokが作った曲はアップテンポなのかスローテンポなのか聞き分けがつきにくいことがよくあります（同じセクションでも、あるツールではBPM87と測定され、別のツールではBPM175と測定されるものもあります）。そのため、2通りの測定方法と3通りのテンポで測ってみたものの、この一連の数値はあくまで参考程度にしかなりません。 いくらかかったのか さまざまな方法を比較した結果、実際にかかった費用はおよそ2.25ドル（2026年9月時点の価格）でした。MV自体は別途費用を支払っていません。 50秒目と80秒目にそれぞれごく短い静止画がありますが、これは最終版として確定したため、それ以上修正は行っていません。 方法の出典：さんかくてん（ツイート、続編）および aicreataro｜楽曲はSunoで生成 音楽付きのショート動画の作り方：Gorden Sun のツイート 2026年9月27日

方法	ダンスに合わせた音楽	ダンスは拍子に合っているか
Grok（従量課金制）	私たちの歌は、作られている時、Grokには聞こえなかった	ない
Grok（サブスクリプションプラン）	私たちの歌は、作られている時、Grokには聞こえなかった	ない
MiniMax H3	私たちの曲も、生成するときに一緒に渡した	ある（7段のうち4段で顕著）
Grok：生成時に付くBGMを使う	Grokが独自に生成したもの	運次第なので、いくつか生成してから選ぶ（10個のうち1個）