工程と使用したモデル

以下の 2 本の rap MV は、同じ工程で作りました。各工程とそこで使ったモデルは次のとおりです。

実験期間は 2026-10-01～10-12 で、生成はすべて 1 枚の RTX 3090 で行いました。検証したのは図にあるモデル構成だけです。モデルを変える場合は、まず試作してください（第 3 ステップ）。

七つのステップ

1. 題材を選び、参考動画を 1 本探す

歌詞にネタを入れられるよう、題材にはもともと対立があるものを選びます。神話では、アテナとポセイドンは実際にアテネの支配権を争いました。参考動画はリズムを測るために使います。〈誰の城〉では三国志の rap battle 動画を 1 本参考にし、各ショットを 2～3 秒、ビートに合わせてカットし、約 4 分の 1 を歌っていない人物のショットにしました。

2. キャラクターと曲を一緒に作り、互いに調整する

歌詞にキャラクターが身に付けていないものが出てきたら、キャラクターを生成し直します。キャラクターが予想以上によければ、曲調や歌詞を見直します。曲ができたら、実際にどこを歌っているかを先に測ります。Suno は曲の構成を変えることがあります。

キャラクター作りの順番は、まず外見の根拠を調べ、次に四面図の設定画を描き、最後に全キャラクターが同じ画面にいる基準画像を 1 枚生成します。各ショットの参考画像をその基準画像から切り出せば、人物の見た目が変わりません。

この 2 本ではどちらも最初の二つの工程を飛ばしたため、〈誰の城〉の正面と側面のショットはモデル任せで補うしかありませんでした。

3. まず試作する。画質は気にしない

一度に変えるのは一つだけにして、どんな書き方で失敗するか、モデルに何ができないかを調べます。H3 で試して分かったことは次のとおりです。

• モデルが最も強く従うのは参考画像、次が音声で、テキストは最後です
• 各ショットの冒頭数秒は、参考画像から変化していく時間です
• 口の動きは曲に合わず、カメラアングルも指定できません
• 1 ショットで生成できる長さは 3、5、10、15 秒のいずれかです

〈誰の城〉の本制作前に 11 ショットを試作し、全 53 ショットに広がりかねない二つのミスを見つけました。

4. 絵コンテを描き、各ショットに 1 枚ずつ画像を付ける

各ショットについて、ショットサイズ、カメラの動き、伝えたいこと、誰が歌うかを書き、画像を 1 枚付けます。曲に沿って動く絵コンテに並べ、先にリズムを確認します。第 3 ステップで分かった制約に合わせて、次のようにします。

• 参考画像を先にそのショットの画角に切り出す
• 口がはっきり見えるショットは、各ショットを 2 秒以内にする
• 隣り合う 2 ショットの構図を大きく変える
• 繰り返し登場するものは、色まで表に記録する

5. 絵コンテに沿ってショットごとに生成する

各ショットを 2.5 秒長く生成し、冒頭を切り落とせるようにします。ショットごとに別のシードを設定します。シードは映像の見た目を決める数値です。振り向くような連続した動きは、前のショットの最後のフレームから続けて生成します。

プロンプトは次の三つのルールに沿って書きます。モデルが最も強く従うのは参考画像、次が音声で、テキストは最後です（第 3 ステップ）。そのため、この三つで同じことを伝える必要があります。

一、欲しいものを明確に書く。 単に「口を閉じている」と書いても、口は開閉します。「rap していない」「マイクを腰の横に持っている」「唇を結んでにらみ合う」と書いて、ようやく口を閉じました。画角も同じです。全身の写真に「胸から上」という説明を添えると、モデルは全身から徐々に寄っていきます。参考画像を先に上半身に切り出して生成すると、寄らなくなりました（そのときは説明とシードも一緒に変えています）。

二、余計なことを書かない。 書いたものは、モデルが何でも描いてしまう可能性があります。

• 「右下にスペースを空け、後から署名を入れる」と書くと、右下に偽の書道文字が現れました
• 1 人だけのショットの説明にもう 1 人の衣装を書くと、画面外にいると明記しても、その人物が画面に入ってきました
• 全ショット共通の文に会場全体の立ち位置を書くと、アップの冒頭に全景が現れました（第 3 ステップの画像）
• 表情の説明に顎をこわばらせると書くと、口が動きやすくなりました

後から入れる文字は説明に書かず、その場所を何もない壁として書きます。共通の文には照明と衣装だけを書き、1 人のショットにはその人物だけを書きます。

三、固定したいものを明確に書く。 単に「フードをかぶっている」と書くと、フードの色がショットごとに変わります。「濃い茶色のフードで、顔は影に隠れている」と書き直すと、以降の生成ではすべて濃い茶色になりました。修正前に生成した数ショットは、DJ が画面の中でとても小さかったので再生成しませんでした。

6. ショットごとに確認し、問題を自動チェックにする

映像を見る前に、つながり、左右の方向、物体の貫通や浮遊、時間の流れる速さ、口についてチェックリストを作ります。通らなければ再生成し、同じ問題が 2 回目に出たら自動チェックにして、まず失敗例で試します。

問題は、画面に何が見えるか、何秒目に起きるかを記録します。〈国姓爺の退場〉のラストを「歌声が止まっても話している」と記録したら、音声トラックが修正され、肝心の問題は残りました。「画面の人物の口がまだ動いている」と記録し直して、ようやく直せました。

この項目を後で〈誰の城〉のチェックリストに加えたところ、同じ問題を映像の確認中に見つけられました。

7. 動画が確定してから画質を上げる

H3 が生成する映像は 1056×608 しかありません。1 回のアップスケールに時間がかかるので、すべてのショットが決まってから処理します。後で再生成したショットは、アップスケールもやり直します。

アップスケールでも問題は起きます。カメラが寄るショットで GPU メモリが足りなくなり、短く分割して再処理するしかありませんでした。「アップスケール済みのショットをスキップ」は長さだけを比べていたため、再生成したショットが処理されませんでした。処理後もフレーム数、カット位置、フリーズしたフレームを確認します。4K には 1080p の約 10 倍の時間がかかるため、この 2 本は 1080p までにしました。

よくある問題

各ショットの冒頭が静止画のように見えるのはなぜですか？

参考画像モードの最初のフレームは、ほとんど参考画像そのものです。長めに生成して、冒頭を切り落とします。

二つのショットが繰り返し再生されているように見えるのは？

説明もシードも同じだと、ほとんど同じ映像が生成されます。ショットごとに別のシードを設定します。

何度再生成しても直らないときは？

同じ問題が再生成を 2 回しても残るなら、シードを変え続けず、ショットの設計を変えるか、別のショットの素材を使います。あるショットでは、書き方とシードを変え、音声も外しましたが、4 回連続で話してしまいました。最後は、使っていなかった別のショットの映像に差し替えました。

二つのショットをつなぐと、映像が一瞬揺れたように見えるのは？

これはジャンプカットです。二つのショットの構図がほとんど同じで、人物が数ピクセルしか動いていません。絵コンテにはローアングルと書いても、生成結果が目線の高さだと、前のショットと似てしまいます。前のショットを編集でゆっくり寄るようにすると、つなぎ目に画角の変化が生まれます。

振り向く動きが不自然で、突然後ろ姿に切り替わったように見えるのは？

モデルが生成した振り向きでは頭だけが動き、体は回っていませんでした。編集でその部分も飛ばしたため、正面から後ろ姿に突然切り替わってしまいました。前のショットの最後のフレームから続けて生成するように変えると、体も足も一緒に回りました。

各ショットが長すぎて、テンポが遅いときは？

〈誰の城〉の最初の絵コンテでは、動画の秒数で予算を決めたため、長いショットが増え、ほとんどが 1 ショット 6～7 秒になりました。参考動画は 2～3 秒です。予算を GPU の稼働時間で決め直し、参考動画とテンポを比べました。

自動チェックが正しいテロップを誤判定するときは？

固定のしきい値は平らな灰色の壁では十分でしたが、背景が煙や炎に変わると誤判定しました。そこで「同じフレームにテロップがない状態」と比較するように変えました。

口の動きを曲に合わせられますか？

2026 年 10 月時点では、まだできません。2 回測ったところ、口の開き具合とボーカル音量の関係は、わざと時間をずらした対照群と区別できませんでした。第 4 ステップのように、ショット設計で避けるしかありません。