StableDiffusioのVAEとは
VAEとは、Variational Autoencoderの略で、簡単にいうと、指示しづらいディティールが良くなり、画像が綺麗になります。
潜在空間に対して拡散モデルを学習させることで、効率よく高解像度の画像生成を可能にします。拡散モデルは、画像をノイズ画像に徐々に変化させるモデルです。拡散モデルをVAEの潜在空間に対して学習させることで、画像のノイズを除去し、高解像度の画像を生成します。
仕上がりの画像はこちらをみてね▼
※VAEはモデルとの相性があります。白っぽくてもやもやした画像が生成されるときは、モデルにあったVAEになってない可能性があります。
VAEとEmbeddingの違い
VAEとEmbedding両方とも画像が綺麗になる効果がありますが、では何が違うかと言うと私の見解ですが、VAEは、元画像のテイストテイストを活かしつつ近いデザインで、ディティールが綺麗になります。Embeddingは、画像ごと変化して特にモデルが綺麗になります。
両方を使用することによって、より良い作品になる事が多いと思います。
モデル専用と汎用的に使えるVAEがあります。
中にはCounterfeitなど、モデル専用と汎用的に使えるVAEがあります。
（例）https://huggingface.co/Nacholmo/Counterfeit-V2.5-vae-swapped/tree/main
代表的なVAE
代表的なVAE『vae-ft-mse-840000-ema-pruned』をダウンロードを紹介します。これはHugging Faceにあり、OpenAI社（Stable Diffusion公式）が作ったVAEで、多くのモデルに適用することができます。
VAEのダウンロード方法
Stable Diffusionのローカル環境構築が終わった方向けの記事です。環境設定からする人は、こちらのページを見てね。
Hugging Face＞検索窓で「stabilityai」のテキストを入れて候補を出す＞「stabilityai/sb-vae-mse-orijinal」を選択
＞「Files and version」のタブを選択＞
「vae-ft-mse-840000-ema-pruned.safetensore」＞「LFS」をクリックでダウンロードできます。
vae-ft-mse-840000-ema-pruned.safetensoreの直リンク
ここからダウンロードページに行けます
VAEの格納先
ダウンロードが完了したら、ファイルをstable-diffusion-webuiフォルダ内の「models」 ＞ 「VAE」の中に入れる
VAEの設定
Stable Diffusionを起動＞「Settings」タブ ＞「Stable Diffusion」の項目
SD VAEのプルダウンを開く＞ダウンロードしたVAEファイルの名前が表示される＞「vae-ft-mse-840000-ema-pruned.safetensors」を選択
「Apply settings」ボタン
完成
今後、ほかのVAEに切り替えたいときも同じ手順でOK。
違いを確かめるために、さっそくイラストを生成してみてください。以前よりディティールが美しいイラストが出力されるはずです。※使用するモデルとの相性があります。
簡単に切り替えができる設定
続いて、VAEの切り替えを簡単にできるようにしましょう。下記の記事の設定をしておくと便利です▼
関連記事
画像をきれいにする拡張機能は、こちらもあります
その他StableDiffusionの記事はこちら
コメント