本記事ではStable Diffusionのローカル環境での構築の手順やメリット、使い方について詳しく解説します。
ローカル環境での構築とその他の方法を比較しながら、各構築方法のメリットやデメリットを正しく理解することで、目的やスキルに合った方法で効果的にStable Diffusionを活用することができます。
Stable Diffusionをより効果的に利用するための拡張機能の導入方法についても紹介します。
Stable Diffusionとは
Stable Diffusionは、2022年にCompVis・Stability AI・Runwayによる協業で公開された高度な深層学習モデルです。
テキストによる説明から高品質で詳細な画像を生成することに優れており、既存の画像を修正したり、低解像度の画像をテキストを用いて強化することもできます。
このモデルは、LAION-5Bのサブセットを使って大規模な画像・テキストデータをもとに初期訓練を行い、生成モデリングと拡散プロセスの原理を活用しています。学習データからパターンや構造を学習しているため、新たなリアルな画像を生成することが可能です。
SDLX/SC3.5系では高い品質と拡張性を持ち、画像生成や編集などの幅広い用途に対応しています。
Stable Diffusionの詳細については、以下の記事をご覧ください。
Stable Diffusionをローカル環境で構築するメリットとデメリット
ここでは、Stable Diffusionの利用方法の一覧を紹介し、そのなかでもローカル環境を構築してStable Diffusionを利用するメリットとデメリットをそれぞれ解説します。
Stable Diffusionの導入方法一覧
Stable Diffusionの利用方法には、おもに以下の3つが挙げられます。
以下の表に費用、構築難易度、画像生成の自由度の項目での比較を整理しています。
| 項目 | ローカル環境を構築 | クラウドサービスで構築 | Webサービスで利用 |
|---|---|---|---|
| 代表サービス | Google Colab | ConoHa AI Canvas | |
| 費用 | 無料 （GPU搭載の高性能PCが必要） | Pay As You Go：従量課金 Colab Pro：1,179円/月 Colab Pro+：5,767円/月 Corab Enterprise：従量課金 （Google Colab Pro+推奨） | エントリー：1,100円/月 スタンダード：4,378円/月 アドバンス：9,878円/月 (基本料金＋従量課金) |
| 構築難易度 | プログラミングスキルが必要 | プログラミングスキルが必要 | 構築不要 |
| 制限 | 枚数やプロンプト制限なし モデルのファインチューニング可能 | コンピューティングユニットに制限 セッション切れの可能性あり | PCスペックに左右されない |
ConoHa AI Canvasについては、以下の記事で詳しく解説しています。
ローカル環境のメリット：自由度とコストパフォーマンス
Google Colabやオンラインサービスでは画像生成の枚数やプロンプトに一部制限がかかることがあるのに対して、ローカル環境でStable Diffusionを利用することで、サービス側の制限に影響されずに画像生成を行うことができます。
ローカルで実行することで、さまざまなプロンプトを使って、自分のニーズにより合った画像を生成することができます。
また、自分のデータでモデルをファインチューニングすることで、出力される画像をカスタマイズし、画像生成の品質を改善することも可能です。
ローカル環境のデメリット：環境構築の手間と必要スペック
ローカル環境の構築においては、PythonやGitHubなどを使用する必要があるため、初心者には難易度が高い可能性があります。その場合はより手軽に利用できるGoogle Colabやオンラインサービスを検討するとよいでしょう。
また、Stable Diffusionはリソースを多く消費するモデルのため、NVIDIAなどの高性能GPUを搭載したハイスペックPCを準備する必要があります。
Stable Diffusionをローカル環境に構築する前の準備
前述したとおり、ローカル環境を構築してStable Diffusionを利用する場合は、一定のPCスペックが求められます。
ここでは、必要なスペックの条件とその確認方法について紹介します。
Stable Diffusionの導入に必要なPCスペック
Stable Diffusionを動かすために必要なPCスペックは、利用するモデルやツールによって変わります。
以下は、本記事で実行手順を紹介しているSDXLをWindows上で動かすために必要なスペックです。
- Windows 10/11
- NVIDIA GeForce RTX 20系以上
- VRAM 8GB以上
- ローカルディスクの空き容量 30GB以上
他の環境・モデルで必要になるスペックについては以下の記事を参照してください。
PCスペックの確認方法
実際に使用中のPCのスペックの確認方法を解説します。
「設定」画面から「システム」＞「バージョン情報」をクリック。
「エディションがWindows 10以上」、かつ「実装RAMが25GB以上」であれば安心できます。
「設定」画面の「システム」＞「ディスプレイ」をクリック。
「ディスプレイの詳細設定」を選択。
「ディスプレイ1のアダプターのプロパティを表示します」をクリックします。
VRAM容量に該当する「専用ビデオメモリ」を確認します。
こちらは8GB以上が推奨されています。
Stable Diffusionのローカル環境での構築方法と使い方
ここでは、比較的軽量で動作するComfyUIを使って、Stable Diffusionを利用する方法をステップごとに解説します。
ComfyUIのセットアップ
まずは以下の手順に従って、ComfyUIをローカル環境で起動します。ComfyUIのポータブル版を使用することで、簡単に初期構築が完了します。
ComfyUI にアクセスし、自分の環境に合ったバージョンをダウンロードします。今回は「Standard portable for Nvidia GPUs」を選択しました。
Zipファイルがダウンロードされるので、右クリックで「すべて展開」をクリックして解凍します。
解凍すると、画像のようにファイル・フォルダが配置されています。「update」フォルダをクリックし、「update_comfyui_stable」ファイルをダブルクリックしてください。
「update_comfyui_stable」を実行することで、公開されている安定バージョンの更新が反映されます。
更新スクリプトの実行が終了したら、元のフォルダにもどって起動スクリプトを実行します。今回はCPUのみを使って起動したので、「run_cpu」を実行しています。
GPUを使用する場合は、「run_nvidia_gpu」または「run_nvidia_gpu_fast_fp16_accumulation」を実行してください。
以上の手順で起動スクリプトを実行すると、自動的にComfyUIが起動し画面が表示されます。
画像生成ワークフロー実行とモデルのダウンロード
ComfyUIを起動したら画像生成用のモデルをダウンロードし、画像生成ワークフローを実行して画像を生成します。
画面左メニューの「テンプレート」をクリックし、使用するワークフローのテンプレートを検索します。
今回はSDXLを使用するため、「SDXLシンプル」というテンプレートを使用しました。
テンプレートを選択すると、画像の通り作成済みのワークフローが表示されます。モデルのダウンロードが必要な場合、エラー状態になります。
画面右パネルで「すべてダウンロード」をクリックすると、必要なモデルがダウンロードされます。
ダウンロードされたモデルは\ComfyUI_windows_portable\ComfyUI\modelsフォルダに配置してください。
モデルファイルを適切に配置し、ComfyUIの画面をリロードするとワークフローのエラーが解消されます。
ワークフローの左側をズームアップするとプロンプト入力画面が表示されます。
「Positive Prompt (Text)」に生成したい画像の指示（プロンプト）を入力し、画面下部の「実行する」ボタンをクリックしてください。
以上の手順により、SDXLを使って画像生成を実行できます。今回は「anime style,young girl, black hair」というプロンプトにより、以下の画像が生成されました。
生成画像の保存先
ComfyUIでワークフローを実行して生成した画像は、\ComfyUI_windows_portable\ComfyUI\outputに保存されます。
生成した画像を利用する場合はこのフォルダを確認してください。
Stable Diffusion実行時のおすすめ初期設定
画像生成を始めるときは最初から細かく調整しすぎず、各モデルの標準的な値から試す方法がおすすめです。特に重要なパラメータは、画像サイズ、Steps、CFG、Seedの4つです。
SDXLを使用する際の初期設定としておすすめの内容は以下の通りです。
| 項目 | おすすめの設定 | 概要 |
|---|---|---|
| 画像サイズ | 1024×1024 | SDXLは1024×1024を前提に最適化されている |
| Steps | 20〜30 | 画像生成中のプロセスの処理回数 大きいほど精密になる一方、生成時間も長くなる |
| CFG | 6〜8 | プロンプトへの忠実度 大きいほどプロンプトの内容に近づくが、画像の破綻など品質悪化につながる可能性も高くなる |
| Seed | random | 同じ条件で同じseedを使うと画像を再現しやすい 最初はランダムで画像を生成し、微調整する際にSeedを固定すると効率的 |
まずはこの設定を目安に開始し、生成結果をみながら調整することで画像生成を効率的に行えます。
Stable Diffusionのカスタマイズ機能の導入方法
Stable Diffusionの拡張機能とは、基本的な画像生成機能をさらに強化し、ユーザーのニーズに応じた追加機能やカスタマイズを可能にするオプションやツールのことを指します。
これらの拡張機能は、画像生成の自由度や効率性を向上させるためのものです。
ここでは、主要な条件付き制御モデルである「ControlNet」と「ComfyUI Custom Scripts」の導入方法について、ステップごとに解説します。
ControlNetの導入方法
ControlNetとは、形状や構造、ポーズ、エッジ情報などの特定の制御信号を与えて、画像生成結果をコントロールすることができる拡張機能です。
この拡張機能を使うことで、より思い通りのポーズや構造をもった高品質な画像を生成することができます。
画面左メニューで「ノード」アイコンをクリックし、「条件付け」＞「コントロールネット」の順番で展開してから「ControlNetを適用」をクリックしてください。
「ControlNetを適用」ノードが作成されるので、画像の通りワークフローに追加してください。
元から配置されている緑色の「CLIPテキストエンコード（プロンプト）」の「条件付け」端子を「ControlNet適用」のポジティブ端子に接続し。赤色の「CLIPテキストエンコード（プロンプト）」の「条件付け」端子を「ControlNetを適用」のネガティブ端子に接続しています。
また、「ControlNetを適用」と「KSampler (Advanced)」をそれぞれのポジティブ端子・ネガティブ端子に接続します。
「ControlNet適用」ノードの「コントロールネット」端子には、ControlNetモデルを入力します。このモデルはHugging Faceなどからダウンロードします。
今回は、骨格画像を使ってポーズを制御するcontrolnet-openpose-sdxl-1.0を使用しました。
Hugging Faceにアクセスし、ダウンロードアイコンをクリックしてOpenPoseXL2.safetensorsをダウンロードします。
ダウンロードしたファイルは\ComfyUI_windows_portable\ComfyUI\models\controlnetに移動してください。
ComfyUIのワークフロー上で、モデルを読み込むノードを追加します。画面左メニューで「ノード」アイコンをクリックし、「ローダー」を展開してから「ControlNetモデルを読み込む」をクリックしてください。
作成されたノードを画像の通りワークフローに追加してください。
「ControlNetを適用」と「ControlNetモデルを読み込む」のコントロールネット端子同士を接続しています。
「ControlNet適用」ノードの「画像」端子には、ポーズの指定に使う画像を入力します。
普通の画像を用意してプリプロセッサーから骨格を抽出する方法もありますが、今回はより簡単にControlNetを使うため、骨格を抽出した画像を用意しました。ChatGPTを使って生成していますが、公開されている骨格画像を使用することも可能です。
この画像は\ComfyUI_windows_portable\ComfyUI\inputに配置してください。
ComfyUIのワークフロー上で、モデルを読み込むノードを追加します。画面左メニューで「アセット」アイコンをクリックし、「インポート済み」タブで用意した画像をクリックしてください。
画像ノードが作成されるため、以下の通りワークフローに追加してください。
「ControlNetを適用」と「画像を読み込む」の画像端子同士を接続しています。
以上の手順でControlNetを適用したワークフローが用意できました。
このワークフローを使って、「画像生成ワークフロー実行とモデルのダウンロード」と同じプロンプトで生成した画像が以下です。ControlNetを追加することで、用意した骨格画像と同じポーズをした全身画像が生成されました。
ComfyUI Custom Scriptsの導入方法
ComfyUI Custom Scriptsは、ComfyUIの操作性を上げるための拡張機能です。導入することで、画面操作・ノード整理・ワークフロー管理・画像確認・入力補助を便利にするための機能が追加されます。
以下の手順により導入できます。
インストールが完了したら、Git Bashを起動します。
Git Bashのターミナルで以下のコマンドを実行し、ComfyUI Custom Scriptsを追加してください。
cd <ComfyUIファイルの展開先>/ComfyUI/custom_nodes
git clone https://github.com/pythongosssss/ComfyUI-Custom-Scripts.gitコマンドが完了すると以下のように表示されます。ComfyUIの画面をリロードすることで、ComfyUI Custom Scriptsの追加が反映されます。
以上の手順で、ComfyUIにComfyUI Custom Scriptsを追加できました。
ComfyUI Custom Scriptsの機能を使う（arrange機能）
ComfyUI Custom Scriptsの代表的な機能として、ワークフロー上のノードを整列するワークフローを整理するarrange機能の使い方を紹介します。
arrange機能を実行する前のワークフローは以下の状態です。
ワークフローを表示した状態で、右クリックします。
画像の通りメニューが表示されるので、「Arrange (float left)」をクリックしてください。
arrange機能を実行すると、以下のように左詰めでノードの配置が整理されました。
他にも、操作を効率化したり画面の配置やフォントなどを調整する機能が用意されています。ComfyUIの操作に慣れてきたら、ComfyUI Custom Scriptsを使ってComfyUIをカスタマイズしてみましょう。
ブラウザだけでできる本格的なAI画像生成「ConoHa AI Canvas」
「PCスペックが足りない。環境構築が難しい…」そんな悩みをお持ちではありませんか？
ConoHa AI Canvasなら、ブラウザさえあれば、場所を選ばずに、手軽にあなたの想像力を形にすることができます。日本語表示に対応し、国内データセンターを利用しています。
多くの無料サービスでは生成枚数や機能に制限がありますが、ConoHa AI CanvasではStable Diffusionを枚数制限なしや好みの画像テイストに合わせたCheckpointも利用可能です。
初心者向けに日本語ドキュメント豊富な「AUTOMATIC1111」と、中〜上級者向けにカスタマイズ性の高い「ComfyUI」のどちらも用意されています。
＼ MiraLab AIの読者限定で500円割引適用中 ／
まとめ
Stable Diffusionのローカル環境での利用は、画像生成の枚数やプロンプトの制限が少なく、自由度の高さが魅力ですが、高スペックPCや構築スキルに少々ハードルがあります。
Google Colabなどのクラウドやオンラインサービスと比較しながら、自身のスキルや要件に合った導入方法を検討しましょう。
また、Stable Diffusionの拡張機能であるControlNetやComfyUI Custom Scriptsなども活用すれば、さらに画像生成における表現力や操作性を高めることができます。