Hugging Face's logo

Diffusers documentation

DEISMultistepScheduler

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

DEISMultistepScheduler

扩散指数积分器采样器（DEIS）由 Qinsheng Zhang 和 Yongxin Chen 在 Fast Sampling of Diffusion Models with Exponential Integrator 中提出。DEISMultistepScheduler 是用于求解扩散常微分方程（ODE）的快速高阶求解器。

该实现修改了 DEIS 论文中原始线性 t 空间下的多项式拟合公式，改为在 log-rho 空间中进行拟合。这一修改使得指数多步更新能够采用闭式系数，而无需依赖数值求解器。

该论文的摘要如下：

过去几年，扩散模型~(DMs) 在生成建模任务中生成高保真样本方面取得了巨大成功。DM 的一个主要局限在于其众所周知的缓慢采样过程，通常需要数百到数千个时间离散化步骤才能达到所需的精度。我们的目标是开发一种快速采样方法，在大幅减少步数的同时保持高样本质量。为此，我们系统地分析了 DM 中的采样过程，并识别出影响样本质量的关键因素，其中离散化方法最为关键。通过仔细研究学习到的扩散过程，我们提出了 Diffusion Exponential Integrator Sampler~(DEIS)。它基于为离散化常微分方程 (ODEs) 而设计的指数积分器，并利用学习到的扩散过程的半线性结构来降低离散化误差。所提出的方法可应用于任何 DM，并能在少至 10 步内生成高保真样本。在我们的实验中，在单张 A6000 GPU 上生成 50k 张 CIFAR10 图像大约需要 3 分钟。此外，通过直接使用预训练的 DM，我们在评分函数评估次数~(NFE) 受限时（例如 4.17 FID 对应 10 NFEs，3.37 FID，以及仅 15 NFEs 时 9.74 IS）实现了最先进的采样性能。代码可在 this https URL 获取。

提示

建议将 solver_order 设置为 2 或 3，而 solver_order=1 则等同于 DDIMScheduler。

支持来自 Imagen 的动态阈值处理，对于像素空间扩散模型，您可以设置 thresholding=True 来使用动态阈值处理。

DEISMultistepScheduler

class diffusers.DEISMultistepScheduler

< >

( num_train_timesteps: int = 1000beta_start: float = 0.0001beta_end: float = 0.02beta_schedule: typing.Literal['linear', 'scaled_linear', 'squaredcos_cap_v2'] = 'linear'trained_betas: numpy.ndarray | list[float] | None = Nonesolver_order: int = 2prediction_type: typing.Literal['epsilon', 'sample', 'v_prediction', 'flow_prediction'] = 'epsilon'thresholding: bool = Falsedynamic_thresholding_ratio: float = 0.995sample_max_value: float = 1.0algorithm_type: typing.Literal['deis'] = 'deis'solver_type: typing.Literal['logrho'] = 'logrho'lower_order_final: bool = Trueuse_karras_sigmas: bool = Falseuse_exponential_sigmas: bool = Falseuse_beta_sigmas: bool = Falseuse_flow_sigmas: bool = Falseflow_shift: float = 1.0timestep_spacing: typing.Literal['linspace', 'leading', 'trailing'] = 'linspace'steps_offset: int = 0use_dynamic_shifting: bool = Falsetime_shift_type: typing.Literal['exponential'] = 'exponential' )

参数

  • num_train_timesteps (int，默认为 1000) — 用于训练模型的扩散步数。
  • beta_start (float，默认为 0.0001) — 推理的起始 beta 值。
  • beta_end (float，默认为 0.02) — 最终的 beta 值。
  • beta_schedule（"linear"、"scaled_linear" 或 "squaredcos_cap_v2"，默认为 "linear"）—— beta 调度，即将 beta 范围映射为用于模型步进的一系列 beta 值。可选 linear、scaled_linear 或 squaredcos_cap_v2。
  • trained_betas（np.ndarray 或 list[float]，可选）— 直接传入 betas 数组到构造函数中，以绕过 beta_start 和 beta_end。
  • solver_order (int，默认为 2) — DEIS 阶数，可以是 1、2 或 3。建议在有引导采样时使用 solver_order=2，在无引导采样时使用 solver_order=3。
  • prediction_type ("epsilon", "sample", "v_prediction", or "flow_prediction", defaults to "epsilon") — Prediction type of the scheduler function; can be epsilon (predicts the noise of the diffusion process), sample (directly predicts the noisy sample), v_prediction(see section 2.4 of [Imagen Video](https://huggingface.co/papers/2210.02303) paper), orflow_prediction`.
  • thresholding (bool，默认为 False) — 是否使用“动态阈值”方法。此方法不适用于 Stable Diffusion 等潜在空间扩散模型。
  • dynamic_thresholding_ratio (float, 默认值为 0.995) — 动态阈值化方法的比例。仅在 thresholding=True 时有效。
  • sample_max_value (float，默认为 1.0) — 动态阈值化的阈值。仅在 thresholding=True 时有效。
  • algorithm_type ("deis"，默认为 "deis") — 求解器的算法类型。
  • solver_type ("logrho"，默认为 "logrho") — DEIS 的求解器类型。
  • lower_order_final (bool，默认为 True) — 是否在最后几步使用低阶求解器。仅在推理步数小于 15 时有效。
  • use_karras_sigmas (bool，可选，默认为 False) — 是否在采样过程的噪声调度中使用 Karras sigmas 来确定步长。如果为 True，则 sigmas 将根据噪声水平序列 {σi} 确定。
  • use_exponential_sigmas (bool，可选，默认为 False) — 在采样过程中，噪声调度的步长是否使用指数 sigmas。
  • use_beta_sigmas (bool, optional, defaults to False) — Whether to use beta sigmas for step sizes in the noise schedule during the sampling process. Refer to Beta Sampling is All You Need for more information.
  • use_flow_sigmas (bool，可选，默认为 False) — 在采样过程中，是否在噪声调度中使用 flow sigmas 作为步长。
  • flow_shift (float，可选，默认为 1.0) — 基于流的模型的 flow shift 参数。
  • timestep_spacing（"linspace"、"leading" 或 "trailing"，默认为 "linspace"） — 时间步的缩放方式。更多信息请参阅 常见的扩散噪声调度和采样步骤存在缺陷 中的表 2。
  • steps_offset（int，默认为 0）— 添加到推理步数中的偏移量，某些模型系列需要此参数。
  • use_dynamic_shifting (bool，默认为 False) — 是否对噪声调度使用动态偏移。
  • time_shift_type（"exponential"，默认为 "exponential"） — 要应用的时间偏移类型。

DEISMultistepScheduler 是一种用于求解扩散常微分方程（ODE）的快速高阶求解器。

该模型继承自 SchedulerMixin 和 ConfigMixin。有关该库为所有调度器实现的通用方法（例如加载和保存），请参阅父类文档。

add_noise

< >

( original_samples: Tensornoise: Tensortimesteps: IntTensor ) → torch.Tensor

参数

  • original_samples (torch.Tensor) — 未添加噪声的原始样本。
  • noise (torch.Tensor) — 要添加到样本中的噪声。
  • timesteps (torch.IntTensor) — 用于向样本添加噪声的时间步。

返回值

torch.Tensor

带噪声的样本。

根据指定时间步的噪声调度，向原始样本添加噪声。

convert_model_output

< >

( model_output: Tensor*argssample: Tensor = None**kwargs ) → torch.Tensor

参数

  • model_output (torch.Tensor) — 学习到的扩散模型的直接输出。
  • timestep (int) — 扩散链中的当前离散时间步。
  • sample (torch.Tensor) — 扩散过程生成的样本的当前实例。

返回值

torch.Tensor

转换后的模型输出。

将模型输出转换为 DEIS 算法所需的对应类型。

deis_first_order_update

< >

( model_output: Tensor*argssample: Tensor = None**kwargs ) → torch.Tensor

参数

  • model_output (torch.Tensor) — 学习到的扩散模型的直接输出。
  • timestep (int) — 扩散链中的当前离散时间步。
  • prev_timestep (int) — 扩散链中的上一个离散时间步。
  • sample (torch.Tensor) — 扩散过程生成的样本的当前实例。

返回值

torch.Tensor

上一步时间步的样本张量。

一阶 DEIS 的一步（等效于 DDIM）。

index_for_timestep

< >

( timestep: typing.Union[int, torch.Tensor]schedule_timesteps: typing.Optional[torch.Tensor] = None ) → int

参数

  • timestep (int 或 torch.Tensor) — 用于查找索引的时间步。
  • schedule_timesteps (torch.Tensor，可选) — 要搜索的时间步调度。如果为 None，则使用 self.timesteps。

返回值

int

时间步在调度器中的索引。

查找给定时间步在调度器中的索引。

multistep_deis_second_order_update

< >

( model_output_list: list[torch.Tensor]*argssample: Tensor = None**kwargs ) → torch.Tensor

参数

  • model_output_list (list[torch.Tensor]) — 学习到的扩散模型在当前及后续时间步的直接输出。
  • sample (torch.Tensor) — 扩散过程生成的样本的当前实例。

返回值

torch.Tensor

上一步时间步的样本张量。

二阶多步 DEIS 的一步。

multistep_deis_third_order_update

< >

( model_output_list: list[torch.Tensor]*argssample: Tensor = None**kwargs ) → torch.Tensor

参数

  • model_output_list (list[torch.Tensor]) — 学习到的扩散模型在当前及后续时间步的直接输出。
  • sample (torch.Tensor) — 扩散过程生成的当前样本实例。

返回值

torch.Tensor

上一步时间步的样本张量。

三阶多步 DEIS 的一步。

scale_model_input

< >

( sample: Tensor*args**kwargs ) → torch.Tensor

参数

  • sample (torch.Tensor) — 输入样本。

返回值

torch.Tensor

经过缩放的输入样本。

确保与那些需要根据当前时间步对去噪模型输入进行缩放的调度器之间的可互换性。

set_begin_index

< >

( begin_index: int = 0 )

参数

  • begin_index (int，默认为 0) — 调度器的起始索引。

设置调度器的起始索引。此函数应在推理之前从流水线中运行。

set_timesteps

< >

( num_inference_steps: intdevice: typing.Union[str, torch.device] = Nonemu: float | None = None )

参数

  • num_inference_steps (int) — 使用预训练模型生成样本时所用的扩散步数。
  • device (str 或 torch.device，可选) — 时间步应移动到的设备。如果为 None，则不移动时间步。
  • mu (float, 可选) — 用于动态偏移的 mu 参数。仅在 use_dynamic_shifting=True 且 time_shift_type="exponential" 时使用。

设置扩散链所使用的离散时间步（需在推理之前运行）。

步骤

< >

( model_output: Tensortimestep: typing.Union[int, torch.Tensor]sample: Tensorreturn_dict: bool = True ) → SchedulerOutput or tuple

参数

  • model_output (torch.Tensor) — 学习到的扩散模型的直接输出。
  • timestep (int 或 torch.Tensor) — 扩散链中的当前离散时间步。
  • sample (torch.Tensor) — 扩散过程生成的样本的当前实例。
  • return_dict (bool，默认为 True) — 是否返回 SchedulerOutput 或 tuple。

返回值

SchedulerOutput 或 tuple

If return_dict is True, SchedulerOutput is returned, otherwise a tuple is returned where the first element is the sample tensor.

通过反转 SDE 来预测上一步时间步的样本。此函数使用多步 DEIS 传播样本。

SchedulerOutput

class diffusers.schedulers.scheduling_utils.SchedulerOutput

< >

( prev_sample: Tensor )

参数

  • prev_sample（对于图像，形状为 (batch_size, num_channels, height, width) 的 torch.Tensor）— 前一时间步的已计算样本 (x_{t-1})。在去噪循环中，应将 prev_sample 用作下一个模型输入。

调度器 step 函数输出的基类。

Update on GitHub

←DDPMScheduler DiscreteDDIMScheduler→