We can't find the internet
Attempting to reconnect
CLIP/OpenCLIP text encoder の中間層の利用深さを制限します。 val が小さくなるごとに捨てる層の数が増えます。 基本的には、モデル (U-Net) の学習時の条件に合わせて指定すべきものです。 Stablity AI が公開しているオリジナルの Stable Diffusion は、 相当の条件で学習されています。
- SD1 では で制限無し (最後の層の出力を使う)、 で最後の 1層分を捨てる、 で最後の 2層分を捨てる、...
- SD2 では で最後の 1層分を捨てる、 で最後の 2層分を捨てる、...
- SDXL では で最後の 1層分を捨てる、 で最後の 2層分を捨てる、...
通常は、CheckpointLoaderSimple の直後につなげて使います。
大抵のモデルは、 か 相当の条件で学習されています。 モデルの学習時の条件から離れると、プロンプトが意図しない方向に効いたりするようになります。 ごちゃ混ぜにマージされたモデルも多く流通していますが、いずれにせよ 以下を指定することによる利点は特にありません。
相当の条件で学習されているモデルの代表は NovelAI のものです。 NovelAI は での学習を採用した理由として、タグベースのプロンプトのように部位ごとの色指定などが近接する密度の高い記述ではその方が結果が良かったから、としています。
Stable Diffusion v1 のモデルでかつ booru タグを使えるモデルでは、 が良いことが多いです。
モデルの説明に無い場合や迷った場合は、実際に と を試して比較した方が良いでしょう。
1girl, red_hair, blue worker suit などが比較しやすいです。
関連
- diffusion モデルの読み込み時に同時に指定できない (けどこちらが推奨): CheckpointLoaderSimple
- diffusion モデルの読み込み時に同時に指定できる (けど通常の使用は非推奨): CheckpointLoader
- CLIP text encoder を読み込むだけ: CLIPLoader
- エンコードする: CLIPTextEncode
外部リンク
- NovelAI による説明: NovelAI Improvements on Stable Diffusion
使用例
の方が良さそうな例 (anything-v3):
