Hugging Face's logo

Diffusers documentation

GlmImageTransformer2DModel

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

GlmImageTransformer2DModel

[GlmImageTransformer2DModel] (TODO) içinden 2B veriler için bir Diffusion Transformer modeli.

GlmImageTransformer2DModel

sınıf diffusers.GlmImageTransformer2DModel

< >

( patch_size: int = 2in_channels: int = 16out_channels: int = 16num_layers: int = 30attention_head_dim: int = 40num_attention_heads: int = 64text_embed_dim: int = 1472time_embed_dim: int = 512condition_dim: int = 256prior_vq_quantizer_codebook_size: int = 16384 )

Parametreler

  • patch_size (int, varsayılan 2) — Patch gömme katmanında kullanılacak yamaların boyutu.
  • in_channels (int, varsayılan 16) — Girdideki kanal sayısı.
  • num_layers (int, varsayılan 30) — Kullanılacak Transformer bloklarının katman sayısı.
  • attention_head_dim (int, varsayılan 40) — Her baştaki kanal sayısı.
  • num_attention_heads (int, varsayılan 64) — Çok başlı dikkat (multi-head attention) için kullanılacak baş sayısı.
  • out_channels (int, varsayılan 16) — Çıktıdaki kanal sayısı.
  • text_embed_dim (int, varsayılan 1472) — Metin kodlayıcıdan gelen metin gömme girdi boyutu.
  • time_embed_dim (int, varsayılan 512) — Zaman adımı gömme çıktısının boyutu.
  • condition_dim (int, varsayılan 256) — Girdi SDXL tarzı çözünürlük koşullarının (original_size, target_size, crop_coords) gömme boyutu.
  • pos_embed_max_size (int, varsayılan 128) — Konumsal gömme (positional embeddings) çözünürlüğünün üst sınırı. Girdi yamalı (patched) latentlere eklenen H x W biçiminde dilimler bu sınırdan alınır; burada H ve W sırasıyla latent yükseklik ve genişliktir. 128 değeri, görüntü üretimi için desteklenen maksimum yükseklik ve genişliğin 128 * vae_scale_factor * patch_size => 128 * 8 * 2 => 2048 olduğunu ifade eder.
  • sample_size (int, varsayılan 128) — Girdi latentlerinin temel çözünürlüğü. Üretim sırasında yükseklik/genişlik belirtilmezse, çözünürlüğü belirlemek için bu değer kullanılır: sample_size * vae_scale_factor => 128 * 8 => 1024

forward

< >

( hidden_states: Tensorencoder_hidden_states: Tensorprior_token_id: Tensorprior_token_drop: Tensortimestep: LongTensortarget_size: Tensorcrop_coords: Tensorattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = Trueattention_mask: typing.Optional[torch.Tensor] = Nonekv_caches: diffusers.models.transformers.transformer_glm_image.GlmImageKVCache | None = Noneimage_rotary_emb: tuple[torch.Tensor, torch.Tensor] | list[tuple[torch.Tensor, torch.Tensor]] | None = None )

Parametreler

  • hidden_states (torch.Tensor, şekli (batch_size, in_channels, height, width)) — Girdi hidden_states.
  • encoder_hidden_states (torch.Tensor, şekli (batch_size, sequence_len, embed_dims)) — Kullanılacak koşullu gömme değerleri (prompt gibi girdi koşullarından hesaplanan gömme değerleri).
  • prior_token_id (torch.Tensor) — Önceki gömme (embedding) araması için token kimlikleri.
  • prior_token_drop (torch.Tensor) — Hangi önceki gömlemelerin düşürüleceğini (sıfırlanacağını) gösteren Boole maskesi.
  • timestep (torch.LongTensor) — Gürültü azaltma adımını belirtmek için kullanılır.
  • target_size (torch.Tensor) — Hedef görüntü boyutu koşullandırması.
  • crop_coords (torch.Tensor) — Kırpma koordinatları koşullandırması.
  • attention_kwargs (dict, isteğe bağlı) — Belirtilirse, diffusers.models.attention_processor içindeki self.processor altında tanımlanan AttentionProcessor'a iletilen bir kwargs sözlüğü.
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine ~models.transformer_2d.Transformer2DModelOutput döndürülüp döndürülmemesi.
  • attention_mask (torch.Tensor, isteğe bağlı) — Dikkat skorlarına uygulanan maske.
  • kv_caches (GlmImageKVCache, isteğe bağlı) — Çıkarımı hızlandırmak için kullanılan önceden hesaplanmış anahtar/değer önbellekleri.
  • image_rotary_emb (tuple of torch.Tensor, opsiyonel) — Önceden hesaplanmış döner konumsal gömme (embedding) değerleri.

GlmImageTransformer2DModel ileri yöntemi.

Update on GitHub

←FluxTransformer2DModel HeliosTransformer3DModel→