1枚絵から15秒のMVへ。RTX 5090でLTX-2.5を動かしてみた

この記事で分かること:RTX 5090(32GB)でLTX-2.5のImage to Videoを実際に回したときの生成時間・ピークVRAM・解像度の上限と、1枚絵を15秒の縦型MVに仕上げるまでの手順と失敗。

最初に作ったのは、5秒の動作確認だった。ただ、動くかどうかを確かめただけで、作品として最後まで仕上げたわけではない。

今回は、手元にあった1枚の縦長イラストを入力にして、LTX-2.5だけで15秒の縦型MVを作った。文字は一切生成させず、あとから合成している。

この映像は生成AIで作成したものです。使用モデルはLTX-2.5のみ。入力に使ったイラストは、私が権利を確認したうえで使っています。日本語のテロップは生成ではなく、あとからffmpegで合成したものです。

やってみた理由

最初の5秒テストで分かったのは「動く」「速い」までだった。実際に使えるかどうかは、5秒のテスト映像ではなく、最後まで作り切ってみないと分からない。

それに、Text to Video(文章から動画)は指示どおりの絵が出るまでが長い。手元にすでに絵があるなら、Image to Video(1枚絵から動画)のほうが、狙った画に早く着く。今回はそこを確かめたかった。

きっかけは単純で、この絵が目についたからだ。動かしたらどこまでできるのか、確かめてみたかった。

それともう一つ。この1枚絵と「ブログで使う」という目的だけを渡して、Agentがどこまで自分で作品にしてくれるのかも見てみたかった。

やったこと

入力は1枚のイラスト(997×1577)。背中を向けて振り返っている構図で、背景は真っ白だ。

入力に使った1枚絵。白背景の立ち絵1枚だけがスタート地点

これをComfyUIのLTX-2.5に渡して、「暗いアトリエ、エメラルドと金の光の粒、ゆっくり振り返る、呼吸と髪と尻尾の揺れ」を英語で指示した。文字・ロゴ・透かしは生成しないよう明示している。

LTX-2.5の公式I2Vワークフローは、半分の解像度で一度生成してから、専用のアップスケーラで2倍にし、もう一度短く仕上げる2段構成になっている。元絵は1段目と2段目の両方に差し込まれるので、途中で別人になりにくい。

環境はこれ。

項目内容
GPUGeForce RTX 5090 32GB
ComfyUI0.33.1(PyTorch 2.12.1 + CUDA 13.0)
モデルLTX-2.5 distilled(ローカルweightのみ)
モードImage to Video
フレームレート24fps
生成の長さ1本あたり121フレーム=5.042秒
通信生成コンテナは外部通信なし

この5090にComfyUIを載せて画像づくりに使い始めたところまでは、第7弾に書いた。今回はその続きで、静止画ではなく動画を任せてみたことになる。

いきなり本番を作らず、まず256×448・17フレーム(0.7秒)だけ生成して、顔・耳・尻尾・服が壊れないかを見た。ここが通ってから、解像度を1段ずつ上げていった。

結果

6回まわした実測がこれ。

解像度フレーム生成時間ピークVRAM判定
256×4481732.77秒31,535 MiB最小確認(cold start)
448×76812112.02秒31,631 MiB画風が3D寄りにずれて不採用
576×102412122.03秒31,709 MiB合格
704×128012124.23秒31,734 MiB採用
704×128012138.13秒31,838 MiB不採用(後述)
704×128012126.04秒31,838 MiB採用

1本目だけモデル読み込みを含むcold startなので長い。2本目以降はモデルが載ったままの状態で、5秒の動画が20〜40秒で出てくる。実時間の4〜8倍で作れる、という感覚だ。

面白かったのはVRAM。256×448・17フレームでも、704×1280・121フレームでも、ピークは31.5〜31.8GBでほとんど変わらなかった。22B(220億パラメータ)の生成本体と12Bのテキストエンコーダを載せている分が支配的で、解像度やコマ数で増える分は300MBほどしかない。

つまり、軽い設定にしてもVRAMは安くならない。32GBのうち残りは1GB弱で、これ以上の解像度は試していない。24GBのGPUにこの構成をそのまま持っていくことはできない。

最終的に、5.042秒の合格カット2本を、ffmpegだけで15.000秒(1080×1920)に組み直した。15秒を一度に生成したわけではない。速度変更もフレーム補間もせず、等速の再生・逆再生・静止だけでつないでいる。

うまくいった点

元絵の画風が保たれた。704×1280まで上げると、線の質感が元のイラストのまま残った。逆に448×768まで落としたときは、同じプロンプト・同じseedでも3Dレンダ寄りの絵になった。解像度は画質だけでなく、画風にも効く。

白背景がちゃんと夜のアトリエに変わった。開始0.3秒ほどで白が引いて、暗いエメラルドと金の光の粒に移り変わる。1枚絵がそのまま動き出す感じが出た。

耳と尻尾が最後まで壊れなかった。尻尾が2本に増えたり、耳が消えたりはしなかった。動画生成AIで一番心配していたところだったので、ここは素直に良かった。

テロップは生成させないのが正解だった。日本語をモデルに描かせると、まず崩れる。今回は動画側に「文字を出すな」と指示して、日本語はあとからNoto Sans JPで合成した。誤字も欠けも文字化けもない。当たり前の話に見えるが、これをやらないと作り直しになる。

失敗・課題

正面を向かせたカットは使えなかった。入力の絵は背中側しか映っていない。だからモデルが振り返らせると、服の「前面」を自分で作ることになる。実際、3〜4秒あたりでその前面デザインが安定せず、別の服に見える瞬間があった。無理に足さず、このカットは落とした。

背中しかない絵から正面を出したいなら、先に正面の絵を用意してから動かすのが筋だ、というのが今回の結論になった。

手の指は近くで見ると甘い。今回は指をはっきり見せる構図がなかったので助かったが、手を主役にする動画はまだ厳しい。

704×1280が実質の上限。1080×1920をそのまま生成したかったが、VRAMの残りが1GB弱では踏み込めなかった。最後は1.53倍に拡大しているので、等倍生成に比べれば少し眠い。

。LTX-2.5は映像と一緒に音も作る。今回も音は出ていて、−14.8 LUFS・トゥルーピーク−1.5dBまで整えてある。ただ、音を狙って指示したわけではなく、映像を作ったら一緒に付いてきたものだ。音まで含めて仕上げたいなら、そこは別で組むことになる。

同じ構図のループになった。合格した2カットをつないでいる以上、全体としては同じ場面が繰り返される。ここは元になる絵とカットの本数を増やさないと解けない。

それでも、1枚絵からここまで動いて、日本語のテロップも崩れずに入って、15秒の形まで来た。作る前に思っていたよりは、ずっと先まで行けた。

MiniMax H3を今回入れなかった理由

当初はMiniMax H3との比較も予定していましたが、open-weight版の地域ライセンス条件をブログ・SNSの世界公開で確実に満たせないため、H3生成物の公開を見送りました。本記事ではLTX-2.5の生成物のみ掲載します。

比較用に作った検証記録は、公開せずローカルに残している。

次にやること

  1. 正面の立ち絵を1枚用意して、同じ手順でもう一度作る。前面の作り直しが起きなくなるか確かめる。
  2. 15秒を一度に生成できるか、フレーム数を伸ばしてVRAMがどこで折れるかを測る。
  3. 縦型として、YouTube ShortsとX・Threadsで同じ動画を出したときの見え方を比べる。