Stable DiffusionのReference Only機能とは
Stable DiffusionのControlNetのReference Only（リファレンスオンリー）機能は、画像を生成する際に、キャラクターの特徴を固定させ、ちょっと違う画像生成ができる機能です。明るい場面など編集が難しい状況も一瞬でできて感動します！
この記事を読むとこのようなことができるようになります
同じキャラクターでプロンプトの指示を変えて状況の違う画像生成ができます。
Before(元画像）
After（同じキャラで違う指示を指定したもの）
Reference Only機能の使い方
今回は、前回作成した画像で生成していきます。StableDiffusionで作成した以外のものも使用できますが、少し完成度は劣ります。
PNG Infoに画像を入れる＞Send to txt２img>
txt2imgのタブに戻るとプロンプトなど作成時のものが記入されています＞ControlNetを開きます＞
ControlNetの設定がまだで項目が表示されていない方は、こちらの記事で初期設定をしてください▼
※Google Colab版をお使いの方は、デフォルトでControlNetが組み込まれているはずなので、インストール作業は不要です。
画像をControlNetのimageに入れます＞Enableにチェック＞
Preprocessor（プリプロセッサ）の項目「reference_only」を選ぶ＞
拡大しました
ちなみにプロンプトはこのようになっています。
プロンプト：Best quality, masterpiece, ultra high res, (photorealistic:1.4), 1girl, offshoulder, in the dark, deep shadow, low key
ネガティブプロンプト：ng_deepnegative_v1_75t, badhandv4 (worst quality:2), (low quality:2), (normal quality:2), lowres, bad anatomy, bad hands, normal quality, ((monochrome)), ((grayscale))「Generate」ボタンを押すと、同じキャラでの少し違う画像が生成されるはずです。
完成です。経験上参照と同じ縦横比で作成した方が近いものが作成されます。
同じモデルで違う指示を追記する
プロンプトに以下を追記しました。「浜辺で花束を手に持つ」
,holding a bouquet in hand,on the beach,いかがでしょう？モデルさんが浜辺で花束を持ちました！
同じキャラクターですね！ちなみにプロンプトは先に書いているテキストが優先されます。もし聞かないようであれば、前の方に書くといいですよ。
もう少し状況を変えてきます。
in the dark, deep shadow, low keyをとりました。
put on a hat,（帽子をかぶる）を加えました。
プロンプト：Best quality, masterpiece, ultra high res, (photorealistic:1.4), 1girl, put on a hat,offshoulder, holding a bouquet in hand,on the beach,
ネガティブプロンプト：ng_deepnegative_v1_75t, badhandv4 (worst quality:2), (low quality:2), (normal quality:2), lowres, bad anatomy, bad hands, normal quality, ((monochrome)), ((grayscale))画角の問題か、少し花が画面からはみ出しているものが多いですが、指示通りです。
ただ、服の色の指示は白にするとは書いてないですが白くなってしましました。服の色は指示しないと白くなりがちと思います。
制作の注意点
注意点としましては、完成度の高いものを作成には以下の項目の注意が必要です。
- 同じモデルを使う、サンプリングメゾットも同じにする。
- 参照画像と出来上がりのサイズは同じにした方が、完成度が高い（できれば512pxの正方形）
- Seed値は、作成モデルの値が入っている方が仕上がりが近い
- プロンプトとネガティブプロンプトに作成時と同じものが入っていると完成度が高い
- LoRAを使用すると少し画質が悪くなる
※今回はbachを４にして4枚作成しました。
PNG Infoを使わず他のモデルでも試し作成
今回は、PNG Infoを使わず、同じモデルでSeed値も記入せず作成して見ました。
元の作成プロンプトではなく、下記のプロンプトで、holding a bouquet in hand,を記入。
プロンプト：best quality,1 girl,holding a bouquet in hand,
ネガティブプロンプト：lowquality,結果、参照モデルと似ている感じですが、画風がかなり変わってしましました。
元画像
作成後
完成度を高めたい場合は、元の記入したものに追記するのが良さそうです。
類似記事
顔を入れ替えることができるプラグインの使い方の紹介です。
プロンプトを入れ替えて生成してくれます。
その他StableDiffusionの記事はこちら
コメント