ビート合わせ動画：AIに参考動画を見せたら、かえって拍子がずれた

AIに参考動画を見せると、できたビート合わせ動画は原作に似たが、拍子は逆にずれた。 「卡點」とは、映像が音楽のビートに合わせて切り替わることだ。起点は Gorden Sun がシェアしたプロンプトである。AI が自分自身を主人公にし、画面が動画編集ソフトのようになっていて、ワンカットで撮影され、自分でエレクトロニック・ミュージックを作ってビートに合わせるというものだ。 どのように行うのか、誰がやったのか メインAIがオリジナル動画を見て、中秋節バージョンを作成しました さらに3つのまったく新しいAIを見つけ、それぞれ1バージョンずつ作成する：オリジナル動画を一切見ないバージョン、オリジナル動画は見ないがハロウィン仕様にアレンジしたバージョン、ハロウィン仕様にした上でオリジナル動画を参考に加えたバージョン 私は方向性として「ハロウィンでやるのがいい」と選んだが、その後「中秋節の方が効果が高いから、やはり動画の参考にしたほうがいいかもしれない」と言った。 私がローカライズを頼んだ。作者名をJoneshongに、簡体字を繁体字に、タイピング画面をピンインから注音に変え、台湾の言い方にする。 画面はどうやって動くの？ 画面はWebのキャンバス（Canvas 2D）を使って描画しています。プログラムが「現在何フレーム目か」を問いかけると、そのフレームを描画し、毎秒30フレームのペースで表示されます。 音楽もプログラムを使ってゼロから合成されており、テンポは1分間に120拍です。「拍子表」が映像と音楽を同時に制御しているため、拍子は最初から正確に合わせられており、後から合わせるわけではありません。 6つのブラウザを同時に開き、それぞれで別々に描き進め、58秒の動画（1755フレーム）を5分で描き上げた。 同じプロンプトで4回実行した バージョン リズムに合わせる度合い 中秋節、元動画を見た 8.9倍 中秋節、原作は見ていない 6.6倍 ハロウィン、元動画を見ていない 12倍 ハロウィン、元動画を見た 6倍 「何倍」は、2拍の間に映像が何回変化するかを表す。数字が大きいほど、映像の動きが拍子に細かく合う。各方式で作ったのは1本ずつ。 ハロウィン版の2本は比べやすい。元動画を渡すと見た目は似た（全画面、明るい色、ヘッドホンを着けたロボット）が、拍子の精度は半分に落ちた。 AIはどこまでできるのか できる 映像も音楽も拍子表も、すべてゼロから作って動画を完成させる 互いを知らない2つのAIが、まったく同じ方法を選んだ。毎分120拍、同じ拍子表。 自分で拍子合わせのチェックツールを作り、音をわざと0.2秒ずらしたら検出できた。 まだ誰かの助けが必要だ デフォルトでは簡体字、ピンイン、中国本土の用語が使用されており、私が指摘して初めて変更される 参考動画を渡すと、AIが学んだのは見た目であって、いつ動くかではなかった 元のプロンプト：Gorden Sun のツイート 2026年9月27日

バージョン	リズムに合わせる度合い
中秋節、元動画を見た	8.9倍
中秋節、原作は見ていない	6.6倍
ハロウィン、元動画を見ていない	12倍
ハロウィン、元動画を見た	6倍