Hugging Face's logo

Diffusers documentation

HiDreamImageTransformer2DModel

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

HiDreamImageTransformer2DModel

Un modelo Transformer para datos similares a imágenes de HiDream-I1.

El modelo se puede cargar con el siguiente fragmento de código.

from diffusers import HiDreamImageTransformer2DModel

transformer = HiDreamImageTransformer2DModel.from_pretrained("HiDream-ai/HiDream-I1-Full", subfolder="transformer", dtype=torch.bfloat16)

Carga de puntos de control cuantizados GGUF para HiDream-I1

Los puntos de control GGUF para el HiDreamImageTransformer2DModel se pueden cargar usando ~FromOriginalModelMixin.from_single_file

import torch
from diffusers import GGUFQuantizationConfig, HiDreamImageTransformer2DModel

ckpt_path = "https://huggingface.co/city96/HiDream-I1-Dev-gguf/blob/main/hidream-i1-dev-Q2_K.gguf"
transformer = HiDreamImageTransformer2DModel.from_single_file(
    ckpt_path,
    quantization_config=GGUFQuantizationConfig(compute_dtype=torch.bfloat16),
    dtype=torch.bfloat16
)

HiDreamImageTransformer2DModel

clase diffusers.HiDreamImageTransformer2DModel

< >

( patch_size: int | None = Nonein_channels: int = 64out_channels: int | None = Nonenum_layers: int = 16num_single_layers: int = 32attention_head_dim: int = 128num_attention_heads: int = 20caption_channels: list[int] = Nonetext_emb_dim: int = 2048num_routed_experts: int = 4num_activated_experts: int = 2axes_dims_rope: tuple[int, int] = (32, 32)max_resolution: tuple[int, int] = (128, 128)llama_layers: list[int] = Noneforce_inference_output: bool = False )

forward

< >

( hidden_states: Tensortimesteps: LongTensor = Noneencoder_hidden_states_t5: Tensor = Noneencoder_hidden_states_llama3: Tensor = Nonepooled_embeds: Tensor = Noneimg_ids: typing.Optional[torch.Tensor] = Noneimg_sizes: list[tuple[int, int]] | None = Nonehidden_states_masks: typing.Optional[torch.Tensor] = Noneattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True )

Parámetros

  • hidden_states (torch.Tensor de forma (batch_size, in_channels, height, width) o (batch_size, patch_height * patch_width, patch_size * patch_size * channels)) — Estados ocultos de entrada hidden_states.
  • timesteps (torch.LongTensor) — Se utiliza para indicar el paso de desruido.
  • encoder_hidden_states_t5 (torch.Tensor) — Incrustaciones condicionales calculadas a partir del codificador de texto T5.
  • encoder_hidden_states_llama3 (torch.Tensor) — Incrustaciones condicionales calculadas a partir del codificador de texto Llama3.
  • pooled_embeds (torch.Tensor) — Incrustaciones de texto agrupadas utilizadas para una condición adicional.
  • img_ids (torch.Tensor, opcional) — ids de posición de imagen para los estados ocultos parcheados.
  • img_sizes (list de tuple de int, opcional) — Tamaños de la cuadrícula de parches por muestra utilizados para des-patchificar la salida.
  • hidden_states_masks (torch.Tensor, opcional) — Máscara sobre hidden_states parcheados.
  • attention_kwargs (dict, opcional) — Un diccionario de kwargs que, si se especifica, se pasa al AttentionProcessor definido en self.processor dentro de diffusers.models.attention_processor.
  • return_dict (bool, opcional, valor predeterminado True) — Indica si se debe devolver un ~models.transformer_2d.Transformer2DModelOutput en lugar de una tupla simple.

El método forward de HiDreamImageTransformer2DModel.

Transformer2DModelOutput

clase diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Parámetros

  • sample (torch.Tensor de forma (batch_size, num_channels, height, width) o (batch size, num_vector_embeds - 1, num_latent_pixels) si Transformer2DModel es discreto) — La salida de estados ocultos condicionada a la entrada encoder_hidden_states. Si es discreto, devuelve distribuciones de probabilidad para los píxeles latentes sin ruido.

La salida de Transformer2DModel.

Update on GitHub

←HeliosTransformer3DModel HunyuanDiT2DModel→