CLIPLoader

(comfyanonymous/ComfyUI)
loaders/Load CLIP

CLIP の text encoder を読み込む

CLIP の text encoder モデルを読み込みます。同梱版以外の CLIP を使えるようになります。

モデルのファイルは、あらかじめサーバの /models/clip/ に置いておく必要があります。

当然ながら、画像生成に使うのであれば U-Net が前提としている CLIP と離れたものではうまく生成できません。 Stable Diffusion 1 で OpenCLIP を使うこともできません。また、SDXL base model は text encoder を 2 つ使うので、このノードではなく DualCLIPLoader で読み込みます。

Stable Diffusion 1 標準の L/14 の代わりに L/14@336px (openai/clip-vit-large-patch14-336) を使うのは可能なようです。 L/14@336px は L/14 とは別に scratch から学習されているそうなので、なぜそれなりに問題無く動くのかは謎です。ファイルの置き場所は、/models/clip/openai/clip-vit-large-patch14-336/pytorch_model.bin のようにすると分かりやすいです。