Diffusers documentation
AutoencoderKLMochi
AutoencoderKLMochi
Mochiで使用されているKL損失付き3次元変分オートエンコーダ（VAE）モデルは、清華大学およびZhipuAIによるMochi 1 Previewで導入されました。
モデルは、以下のコードスニペットで読み込むことができます。
from diffusers import AutoencoderKLMochi
vae = AutoencoderKLMochi.from_pretrained("genmo/mochi-1-preview", subfolder="vae", dtype=torch.float32).to("cuda") # or "mps", "xpu", "cpu"AutoencoderKLMochi
class diffusers.AutoencoderKLMochi
< source >( in_channels: int = 15out_channels: int = 3encoder_block_out_channels: tuple[int] = (64, 128, 256, 384)decoder_block_out_channels: tuple[int] = (128, 256, 512, 768)latent_channels: int = 12layers_per_block: tuple[int, ...] = (3, 3, 4, 6, 3)act_fn: str = 'silu'temporal_expansions: tuple[int, ...] = (1, 2, 3)spatial_expansions: tuple[int, ...] = (2, 2, 2)add_attention_block: tuple[bool, ...] = (False, True, True, True, True)latents_mean: tuple[float, ...] = (-0.06730895953510081, -0.038011381506090416, -0.07477820912866141, -0.05565264470995561, 0.012767231469026969, -0.04703542746246419, 0.043896967884726704, -0.09346305707025976, -0.09918314763016893, -0.008729793427399178, -0.011931556316503654, -0.0321993391887285)latents_std: tuple[float, ...] = (0.9263795028493863, 0.9248894543193766, 0.9393059390890617, 0.959253732819592, 0.8244560132752793, 0.917259975397747, 0.9294154431013696, 1.3720942357788521, 0.881393668867029, 0.9168315692124348, 0.9185249279345552, 0.9274757570805041)scaling_factor: float = 1.0 )
パラメータ
- in_channels (int, 任意、デフォルトは 3) — 入力画像のチャネル数。
- out_channels (int, 任意, デフォルトは 3) — 出力のチャネル数。
- block_out_channels (
tuple[int]、任意、デフォルトは(64,)) — ブロックの出力チャネルのタプル。 - act_fn (
str、任意、デフォルトは"silu") — 使用する活性化関数。 - scaling_factor (
float, 任意、デフォルト値は1.15258426) — 学習済み潜在空間の要素ごとの標準偏差です。これは、学習セットの最初のバッチを使用して計算されます。拡散モデルの学習時に、潜在空間を分散 1 にスケーリングするために使用されます。潜在変数は、拡散モデルに渡される前に、式z = z * scaling_factorによってスケーリングされます。デコード時には、式z = 1 / scaling_factor * zによって、潜在変数は元のスケールに戻されます。詳細については、High-Resolution Image Synthesis with Latent Diffusion Models 論文のセクション 4.3.2 と D.1 を参照してください。
KL損失を用いて画像を潜在変数にエンコードし、潜在表現を画像にデコードするためのVAEモデル。Mochi 1 previewで使用されます。
このモデルは ModelMixin を継承しています。すべてのモデルに実装されている汎用的なメソッド（ダウンロードや保存など）については、スーパークラスのドキュメントを参照してください。
decode
< source >( z: Tensorreturn_dict: bool = True ) → ~models.vae.DecoderOutput or tuple
画像のバッチをデコードします。
enable_tiling
< source >( tile_sample_min_height: int | None = Nonetile_sample_min_width: int | None = Nonetile_sample_stride_height: float | None = Nonetile_sample_stride_width: float | None = None )
パラメータ
- tile_sample_min_height (
int, 任意) — サンプルを高さ方向にタイル分割するために必要な最小高さ。 - tile_sample_min_width (
int, 任意) — 幅方向にサンプルをタイルに分割するために必要な最小幅です。 - tile_sample_stride_height (
int, 省略可) — 縦方向の連続する2つのタイル間の最小重複量です。これにより、高さ方向にタイル化によるアーティファクトが発生しないことを保証します。 - tile_sample_stride_width (
int, 任意) — 連続する2つの水平タイル間のストライドです。これにより、幅方向にタイル化によるアーティファクトが発生しないことを保証します。
タイル化VAEデコーディングを有効にします。このオプションを有効にすると、VAEは入力テンソルをタイルに分割し、デコーディングとエンコーディングを複数ステップで計算します。これにより、大量のメモリを節約し、より大きな画像の処理を可能にします。
encode
< source >( x: Tensorreturn_dict: bool = True )
バッチの画像を潜在変数にエンコードします。
forward
< source >( sample: Tensorsample_posterior: bool = Falsereturn_dict: bool = Truegenerator: typing.Optional[torch.Generator] = None ) → ~models.vae.DecoderOutput or tuple
パラメータ
- sample (
torch.Tensor) — 入力サンプル。 - sample_posterior (
bool、省略可能、デフォルトはFalse) — 後方分布からサンプリングするかどうか。 - return_dict (
bool、省略可、デフォルトはTrue) —DecoderOutputを返すか、プレーンなタプルを返すかを指定します。 - generator (
torch.Generator、省略可) — サンプリングを決定論的に行うためのtorch.Generator。
戻り値
~models.vae.DecoderOutput または tuple
return_dict が True の場合、~models.vae.DecoderOutput が返され、それ以外の場合は通常の tuple が返されます。
tiled_decode
< source >( z: Tensorreturn_dict: bool = True ) → ~models.vae.DecoderOutput or tuple
タイル化されたデコーダーを使用して、画像のバッチをデコードします。
tiled_encode
< source >( x: Tensor ) → torch.Tensor
タイル化されたエンコーダーを使用して、画像のバッチをエンコードします。
DecoderOutput
class diffusers.models.autoencoders.vae.DecoderOutput
< source >( sample: Tensorcommit_loss: typing.Optional[torch.FloatTensor] = None )
デコードメソッドの出力。