画像は最初のフレームであり、ビデオ全体ではありません
写真をアップロードした後、ビデオ モデルに本当に伝える必要があるのは、「この写真に何があるか」ではなく、次の数秒で何が起こるかです。写真はキャラクター、構図、光、一般的なスタイルをすでに決定しており、テキストでは主にアクション、環境の変化、ショットを説明する必要があります。
写真は開始点を担当し、プロンプトの言葉は時間を担当します。
方法 1: 1 つの最初のフレームと 1 つのメイン アクション
最も簡単な方法は、最初のフレームをアップロードしてアクションを記述するだけです。キャラクターに向きを変えたり、歩いたり、手を振ったり、カメラを回り込ませたり、背景で爆発させたりすることを同時に要求しないでください。動きが多ければ多いほど、わずか数秒でまとめるのが簡単になります。
- キャラクター: カメラは固定され、キャラクターは窓の外を見上げ、髪がそよ風にそよぐ。
- 製品: カメラはゆっくりと前進し、ボトルは静止したままで、背景光が左から右に移動します。
- イラスト：雲がゆっくりと右に流れ、水面にわずかな波紋が現れ、手描きの質感を残した絵。
画像をビデオに変換するための Runway のガイドでは、被写体の動き、環境の動き、カメラの動き、速度、方向にテキストを集中させ、最も重要な動きから始めて徐々にステップアップすることも推奨しています。
方法 2: 最初と最後のフレームを使用してエンドポイントを制御する
ビデオがどこに終わるかがすでにわかっている場合は、最初と最後のフレームの両方を指定できます。このツールは中間の変化を補正しようとするため、パッケージからディスプレイへの製品の変化、昼から夜への画像の移行、または遠くのショットから近くのショットへのショットの移動に適しています。
Adobe Firefly と Google Flow は現在、どちらも最初と最後のフレーム メソッドを提供しています。 2 つの写真は、連続的に変化する構図を持つ必要があります。キャラクターの位置、カメラアングル、背景がまったく一致していない場合は、モデルを強制的に変形させるか、突然切り替えることしかできません。
最初に同じ写真を使用し、わずかな変更を加えて最終フレームを取得する方が、通常、無関係な 2 枚の写真を撮ってそれらを直接接続するよりも安定します。
方法 3: 複数のビデオの参考資料を持ち続ける
複数のビデオを作成する場合、前のビデオの最後のフレームのみに依存してビデオを生成すると、キャラクターや商品がどんどん遠ざかってしまうことがあります。一部のツールでは、人物、製品、またはシーンの写真を継続的な参照として使用できます。 Google Flow では、このタイプの素材をマテリアルと呼んでおり、本文や製品リファレンスにはきれいでシンプルな背景を使用することを推奨しています。
参考画像はロックボタンではありません。継続的に生成した後も、顔、服、パッケージのテキスト、ボタン、色をチェックする必要があります。重要な製品が変形している場合は、ショットを短くして動きを減らすか、製品を静止させて背景とカメラをわずかに動かすだけにすることをお勧めします。
失敗する可能性が最も高い 5 つの場所
- キャラクターの顔が突然変わります。入力画像の顔が小さすぎる、ぼやけている、またはエラーがある。まず鮮明な画像に変更し、次に頭の大きな回転や遮蔽を軽減します。
- 製品パッケージの変形: アクションとショットが激しすぎます。製品を静止させ、光と影、または背景の動きに合わせてのみ近づけてください。
- カメラは勝手に動き回っています。プロンプトはショットではなく雰囲気を説明するだけです。明らかに固定レンズを使用し、ゆっくりとズームインするか、左にパンします。
- 途中で突然カット。短い時間の中に複数のシーンが詰め込まれています。連続ショットは一度に 1 つだけ作成され、複数のショットはカットされる前に個別に生成されます。
- 静止していたいが動き続けたい: ビデオ モデルは本質的に動きやすいものです。画像内で移動できる唯一のオブジェクトを書き留め、生成後に編集ソフトウェアを使用してオブジェクトを安定させます。
入力画像内のモーション キューも確認します。 Runway のガイドでは、埃やモーション ブラーが発生し、キューに留まることを困難にする車の例を挙げています。入力画像はすでに「突進」していますが、テキストはまったく動かないことが要求され、2 つの信号が互いに争うことになります。
よりコスト効率の高い生産シーケンス
- まず入力画像を修正します。顔、手、製品のテキスト、エッジ自体が正しい必要があります。
- 最初に 1 つのアクションと 1 つのショットを検証して、可能な限り短いクリップのみを生成します。
- アクションを正しく行い、スピード、環境の変化、そしてセカンドショットを追加します。一度に全部書かないでください。
- 安定した間隔を数秒だけ空けて、さらにいくつかのバージョンを生成します。
- 最後に、編集ソフトウェアに移動して、トリミング、安定化、字幕、サウンド、トランジションの追加を行います。
写真をビデオに変換することは、完全なフィルムを一度に生成するというよりは、映像を作成することに似ています。各セグメントを 1 つのアクションに制御し、失敗した場合は最初に画像と動きの要件を変更することは、通常、「高品質で映画のような雰囲気」を常に追加するよりも有益です。
公式情報
この記事の最初のフレーム、最後のフレーム、およびモーション プロンプトの説明は次から引用しています。
