Diffusers documentation
AutoencoderKLLTX2Video
AutoencoderKLLTX2Video
LTX-2에서 사용된 KL 손실을 갖춘 3D 변분 오토인코더(VAE) 모델은 Lightricks에 의해 소개되었습니다.
다음 코드 스니펫으로 모델을 로드할 수 있습니다.
from diffusers import AutoencoderKLLTX2Video
vae = AutoencoderKLLTX2Video.from_pretrained("Lightricks/LTX-2", subfolder="vae", dtype=torch.float32).to("cuda") # or "mps", "xpu", "cpu"AutoencoderKLLTX2Video
class diffusers.AutoencoderKLLTX2Video
< source >( in_channels: int = 3out_channels: int = 3latent_channels: int = 128block_out_channels: tuple[int, ...] = (256, 512, 1024, 2048)down_block_types: tuple[str, ...] = ('LTX2VideoDownBlock3D', 'LTX2VideoDownBlock3D', 'LTX2VideoDownBlock3D', 'LTX2VideoDownBlock3D')decoder_block_out_channels: tuple[int, ...] = (256, 512, 1024)layers_per_block: tuple[int, ...] = (4, 6, 6, 2, 2)decoder_layers_per_block: tuple[int, ...] = (5, 5, 5, 5)spatio_temporal_scaling: bool | tuple[bool, ...] = (True, True, True, True)decoder_spatio_temporal_scaling: bool | tuple[bool, ...] = (True, True, True)decoder_inject_noise: bool | tuple[bool, ...] = (False, False, False, False)downsample_type: tuple[str, ...] = ('spatial', 'temporal', 'spatiotemporal', 'spatiotemporal')upsample_type: tuple[str, ...] = ('spatiotemporal', 'spatiotemporal', 'spatiotemporal')upsample_residual: bool | tuple[bool, ...] = (True, True, True)upsample_factor: tuple[int, ...] = (2, 2, 2)timestep_conditioning: bool = Falsepatch_size: int = 4patch_size_t: int = 1resnet_norm_eps: float = 1e-06scaling_factor: float = 1.0encoder_causal: bool = Truedecoder_causal: bool = Trueencoder_spatial_padding_mode: str = 'zeros'decoder_spatial_padding_mode: str = 'reflect'spatial_compression_ratio: int = Nonetemporal_compression_ratio: int = None )
매개변수
- in_channels (
int, 기본값3) — 입력 채널 수. - out_channels (
int, 기본값3) — 출력 채널 수. - latent_channels (
int, 기본값128) — 잠재 채널의 수입니다. - block_out_channels (
tuple[int, ...], 기본값(128, 256, 512, 512)) — 각 블록의 출력 채널 수입니다. - spatio_temporal_scaling (
tuple[bool, ...], defaults to(True, True, True, False)` — 블록에 공간-시간 다운스케일링을 포함할지 여부. - layers_per_block (
tuple[int, ...], 기본값(4, 3, 3, 3, 4)) — 블록당 레이어 수입니다. - patch_size (
int, 기본값4) — 공간 패치의 크기입니다. - patch_size_t (
int, 기본값1) — 시간 패치의 크기입니다. - resnet_norm_eps (
float, 기본값1e-6) — ResNet 정규화 레이어에 사용되는 Epsilon 값입니다. - scaling_factor (
float, 선택 사항, 기본값1.0) — 학습 세트의 첫 번째 배치(first batch)를 사용하여 계산된 학습된 잠재 공간(latent space)의 요소별(component-wise) 표준 편차입니다. 이는 diffusion model을 학습할 때 잠재 공간의 분산을 1로 조정하는 데 사용됩니다. 잠재 변수(latents)는 diffusion model에 전달되기 전에z = z * scaling_factor공식으로 스케일링됩니다. 디코딩 시에는z = 1 / scaling_factor * z공식을 사용하여 원래의 스케일로 되돌립니다. 자세한 내용은 High-Resolution Image Synthesis with Latent Diffusion Models 논문의 4.3.2절과 D.1절을 참조하세요. - encoder_causal (
bool, 기본값True) — 인코더가 인과적으로 동작할지(미래 프레임이 과거 프레임에만 의존) 여부를 지정합니다. - decoder_causal (
bool, 기본값False) — 디코더가 인과적으로 동작할지(미래 프레임이 과거 프레임에만 의존) 여부를 지정합니다.
KL 손실을 사용하여 이미지를 잠재 변수로 인코딩하고 잠재 표현을 이미지로 디코딩하는 VAE 모델입니다. LTX-2에서 사용됩니다.
이 모델은 ModelMixin에서 상속됩니다. 모든 모델에 대해 구현된 일반적 메서드(다운로드 또는 저장 등)에 대해서는 상위 클래스 문서를 확인하세요.
decode
< source >( z: Tensortemb: typing.Optional[torch.Tensor] = Nonecausal: bool | None = Nonereturn_dict: bool = True ) → ~models.vae.DecoderOutput or tuple
이미지 배치(decode)를 디코딩합니다.
encode
< source >( x: Tensorcausal: bool | None = Nonereturn_dict: bool = True )
이미지 배치(latents)를 인코딩합니다.
enable_tiling
< source >( tile_sample_min_height: int | None = Nonetile_sample_min_width: int | None = Nonetile_sample_min_num_frames: int | None = Nonetile_sample_stride_height: float | None = Nonetile_sample_stride_width: float | None = Nonetile_sample_stride_num_frames: float | None = None )
매개변수
- tile_sample_min_height (
int, 선택 사항) — 높이 차원에서 샘플이 타일로 분리되려면 필요한 최소 높이입니다. - tile_sample_min_width (
int, 선택 사항) — 샘플이 너비 차원으로 타일 분리되려면 필요한 최소 너비입니다. - tile_sample_stride_height (
int, 선택 사항) — 연속된 세로 타일 사이의 최소 겹침 양입니다. 이는 높이 차원에서 타일링 아티팩트가 발생하지 않도록 보장하기 위한 것입니다. - tile_sample_stride_width (
int, 선택 사항) — 연속된 두 수평 타일 사이의 스트라이드입니다. 이는 너비 차원에서 타일링 아티팩트가 발생하지 않도록 보장하기 위한 것입니다.
타일 VAE 디코딩을 활성화합니다. 이 옵션이 활성화되면 VAE는 입력 텐서를 타일로 분할하여 디코딩 및 인코딩을 여러 단계로 계산합니다. 이는 대량의 메모리를 절약하고 더 큰 이미지를 처리할 수 있도록 하는 데 유용합니다.
forward
< source >( sample: Tensortemb: typing.Optional[torch.Tensor] = Nonesample_posterior: bool = Falseencoder_causal: bool | None = Nonedecoder_causal: bool | None = Nonereturn_dict: bool = Truegenerator: typing.Optional[torch.Generator] = None ) → ~models.vae.DecoderOutput or tuple
매개변수
- sample (
torch.Tensor) — 입력 샘플. - temb (
torch.Tensor, 선택 사항) — 디코더를 조건화하는 데 사용되는 선택적 타임스텝 임베딩 텐서입니다. - sample_posterior (
bool, 선택 사항, 기본값False) — 후분포에서 샘플링할지 여부. - encoder_causal (
bool, 선택 사항) — 인코더가 인과적 컨볼루션(causal convolutions)을 사용할지 여부입니다.None인 경우 모델 기본값으로 대체됩니다. - decoder_causal (
bool, 선택 사항) — 디코더가 인과적 컨볼루션(causal convolutions)을 사용할지 여부입니다.None인 경우 모델 기본값으로 대체됩니다. - return_dict (
bool, 선택 사항, 기본값True) — 일반 튜플 대신DecoderOutput를 반환할지 여부. - generator (
torch.Generator, 선택 사항) — 샘플링을 결정적으로 만들기 위한torch.Generator.
반환값
~models.vae.DecoderOutput 또는 tuple
return_dict가 True이면 ~models.vae.DecoderOutput가 반환되고, 그렇지 않으면 일반 tuple이 반환됩니다.
tiled_decode
< source >( z: Tensortemb: typing.Optional[torch.Tensor]causal: bool | None = Nonereturn_dict: bool = True ) → ~models.vae.DecoderOutput or tuple
tiled decoder를 사용하여 이미지 배치(decoding)를 디코딩합니다.
tiled_encode
< source >( x: Tensorcausal: bool | None = None ) → torch.Tensor
타일 인코더를 사용하여 이미지 배치 인코딩