TomePatchModel

ToMe for SD (Token Merging for Stable Diffusion) を有効にするための付加データを model に追加します。

U-Net の最外周の self attention block の token について、似た token を平均値一つにまとめることによって計算量を減らし、生成を高速化します。 特に高解像度の場合に効果が高くなります。 ただし、画像の構図が崩れるなどの影響があります。 また、VRAM の実使用量が若干増加します。

ratio はマージ割合です。1.0 で効果が最大になります。