Stable Diffusion入門 from Thailand 第28回

ローカル動画生成AIの革命児「FramePack」の使い方

　「ControlNet」や「Stable Diffusion」のWebUI「Fooocus」を開発した開発者lllyasviel（イリヤスフィール）氏が4月17日、GitHubで公開した「FramePack」がAI界隈をにぎわしている。その様子は「天才エンジニア・イリヤスフィール氏、突如ローカル環境で動かすとんでもない動画生成AI「FramePack」を投下し界隈が沸騰中」でも紹介した。

　FramePackを動かすには、以下の環境が必要だ。

　注目すべきは要求するGPUスペック（GPUメモリ容量）の低さだ。開発者の報告によれば、RTX 4090では1フレームあたり約1.5～2.5秒で生成できるのに対し、ノートPC向けGPUのRTX 3070TiやRTX 3060ではその4～8倍の時間がかかるということ。30秒の動画生成でRTX 4090でも約30分程度の処理時間が必要だという。

　これが本当なら、わずか6GBのVRAMしか搭載していないノートPC級のGPUでも30fps・60秒（約1800フレーム）の動画を生成できることになる。従来の動画生成AIが抱えていた「重い・短い・不便」という三重苦を一気に解決し、画像生成の感覚で動画を作れるようになるかもしれない。

　技術的には既存の動画AI「HunyuanVideo」を改良し、独自に「次の場面を予測する」技術を取り入れたもの。従来の動画生成AIは長い動画を作るほどメモリ消費が増え続けたが、FramePackは過去の映像情報をうまく圧縮することで、1分でも10分でも同じくらいのメモリ量で処理できるようになっている。これにより、普通のゲーミングPCでも実用的な速度で長い動画が作れるようになったのだという。

　それではさっそく、ローカル動画生成を試してみよう。検証環境は以下のRTX 4070搭載マシンだ。

FramePackのインストールは拍子抜けするほど簡単

　インストールは作者のイリヤスフィール氏がワンクリックパッケージを作成してくれているため拍子抜けするほど簡単だ。

　まずはFramePackのGitHubリポジトリにアクセスし、下の方にスクロールしていくと表示される「>>> Click Here to Download One-Click Package (CUDA 12.6 + Pytorch 2.6) <<<」をクリックしてダウンロード。

　ファイルは「.7z」形式で圧縮されているが、Windows 11 バージョン 23H2以降では、追加のソフトウェアをインストールしなくても、標準のエクスプローラー機能で7zファイルを解凍できる。できない場合は「7-Zip」を使えばOKだ。

解凍にはしばらく時間がかかる

　解凍が終わったらまずはバッチファイル「Update.bat」をダブルクリックで起動。

　アラート画面が表示されることもあるが構わず「実行」。

　アップデートされたファイルがないかチェックし、あった場合のみダウンロードするだけなので比較的すぐに終わる。

　アップデートが終わったら「run.bat」をダブルクリック。

　VAEやTokenizerなど数百MB～数GBのモデルをダウンロードするため、回線環境によっては少し時間がかかる。

　ダウンロードが終了すると自動的にブラウザーにUIが表示される（開かない場合は http://127.0.0.1:7860にアクセス）。