【ControlVideo】新しい動画生成モデルが公開されいたので試してみました。

左が参照動画。
真ん中が参照画像をもとに作成されたポーズ動画。
右が今回作成された動画。

サングラスが残念なことになってしまいました。

注意

github.com
github.com
ControlVideoというGitHubリポジトリは二つ存在します。
全く別物のようです。
この記事は下のリポジトリについての記事になります。

上のリポジトリについての記事はこちらになります。

実行

python inference.py \
    --prompt "James bond moonwalk on the beach, animation style." \
    --condition "openpose" \
    --video_path "data/moonwalk.mp4" \
    --output_path "outputs/" \
    --video_length 32 \
    --smoother_steps 19 20 \
    --width 512 \
    --height 512 \
    --version v11 \
    --is_long_video

環境構築

自身のGitHubに方法を載せています。
github.com

VRAM使用量

7GB程度でした。