Accelerate documentation

DeepSpeed ユーティリティ

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

DeepSpeed ユーティリティ

DeepSpeedPlugin

get_active_deepspeed_plugin

accelerate.utils.get_active_deepspeed_plugin

< >

( state )

例外

ValueError

  • ValueError — DeepSpeed が有効化されておらず、この関数が呼び出された場合。

現在アクティブなDeepSpeedPluginを返します。

class accelerate.DeepSpeedPlugin

< >

( hf_ds_config: Any = Nonegradient_accumulation_steps: int = Nonegradient_clipping: float = Nonezero_stage: int = Noneis_train_batch_min: bool = Trueoffload_optimizer_device: str = Noneoffload_param_device: str = Noneoffload_optimizer_nvme_path: str = Noneoffload_param_nvme_path: str = Nonezero3_init_flag: bool = Nonezero3_save_16bit_model: bool = Nonetransformer_moe_cls_names: str = None )

パラメータ

  • hf_ds_config (Any、デフォルトはNone) — DeepSpeed設定ファイルへのパス、dict、またはaccelerate.utils.deepspeed.HfDeepSpeedConfigクラスのオブジェクト。
  • gradient_accumulation_steps (int、デフォルトはNone) — オプティマイザの状態を更新する前に勾配を累積するステップ数。設定されていない場合、Acceleratorの値が直接使用されます。
  • gradient_clipping (float、デフォルトはNone) — 指定した値で勾配クリッピングを有効にします。
  • zero_stage (int、デフォルトはNone) — 選択肢は 0、1、2、3 です。デフォルト値は環境変数から取得されます。
  • is_train_batch_min (bool、デフォルトは True) — train と eval の両方の dataloader が指定されている場合、train_batch_size を決定します。
  • offload_optimizer_device (str、デフォルトは None) — 選択可能なオプションは none|cpu|nvme です。ZeRO Stages 2 と 3 の場合にのみ適用されます。
  • offload_param_device (str、デフォルトはNone) — 選択肢は none|cpu|nvme です。ZeRO Stage 3 の場合にのみ適用されます。
  • offload_optimizer_nvme_path (str、デフォルトはNone) — 選択可能なオプションは /nvme|/local_nvme です。ZeRO Stage 3でのみ適用されます。
  • offload_param_nvme_path (str、デフォルトは None) — 選択可能なオプションは /nvme|/local_nvme です。ZeRO Stage 3 の場合にのみ適用されます。
  • zero3_init_flag (bool、デフォルトはNone) — 16ビットモデルを保存するかどうかを示すフラグ。ZeRO Stage-3でのみ適用されます。
  • zero3_save_16bit_model (bool、デフォルトはNone) — 16ビットモデルを保存するかどうかを示すフラグ。ZeRO Stage-3でのみ適用されます。
  • transformer_moe_cls_names (str、デフォルトは None) — Transformers の MoE レイヤーのクラス名をカンマ区切りで指定します(大文字と小文字を区別します)。例えば、MixtralSparseMoeBlock、Qwen2MoeSparseMoeBlock、JetMoEAttention、JetMoEBlock などです。

このプラグインは、DeepSpeed を統合するために使用されます。

deepspeed_config_process

< >

( prefix = ''mismatches = Noneconfig = Nonemust_match = True**kwargs )

kwargs の値で DeepSpeed の設定を処理します。

select

< >

( _from_accelerator_state: bool = False )

現在のdeepspeedプラグイン設定を使用するようにHfDeepSpeedWeakrefを設定します

クラス accelerate.utils.DummyScheduler

< >

( optimizertotal_num_steps = Nonewarmup_num_steps = 0lr_scheduler_callable = None**kwargs )

パラメータ

  • optimizer (torch.optim.optimizer.Optimizer) — ラップするオプティマイザー。
  • total_num_steps (int, 任意) — ステップの総数。
  • warmup_num_steps (int, 任意) — ウォームアップのステップ数。
  • lr_scheduler_callable (callable, オプション) — LR Scheduler を作成する callable な関数です。引数として optimizer のみを接受します。
  • **kwargs (追加のキーワード引数、任意) — その他の引数。

Dummy scheduler はモデルのパラメータまたはパラメータグループを提示します。これは主に、deepspeed 設定ファイルでスケジューラの設定が指定されている場合、従来のトレーニングループに従うために使用されます。

DeepSpeedEnginerWrapper

クラス accelerate.utils.DeepSpeedEngineWrapper

< >

( engine )

パラメータ

  • engine (deepspeed.runtime.engine.DeepSpeedEngine) — ラップする deepspeed エンジン

deepspeed.runtime.engine.DeepSpeedEngine の内部ラッパーです。これは、一般的なトレーニングループに従うために使用されます。

get_global_grad_norm

< >

( )

DeepSpeedエンジンからグローバル勾配ノルムを取得します。

DeepSpeedOptimizerWrapper

クラス accelerate.utils.DeepSpeedOptimizerWrapper

< >

( optimizer )

パラメータ

  • optimizer (torch.optim.optimizer.Optimizer) — ラップするオプティマイザー。

deepspeedのオプティマイザーをラップする内部ラッパーです。

DeepSpeedSchedulerWrapper

クラス accelerate.utils.DeepSpeedSchedulerWrapper

< >

( scheduleroptimizers )

パラメータ

  • scheduler (torch.optim.lr_scheduler.LambdaLR) — ラップするスケジューラー。
  • optimizers(torch.optim.Optimizer 1 つまたはリスト)—

deepspeedスケジューラをラップする内部ラッパーです。

DummyOptim

クラス accelerate.utils.DummyOptim

< >

( paramslr = 0.001weight_decay = 0**kwargs )

パラメータ

  • lr (float) — 学習率。
  • params (iterable) — 最適化対象のパラメータのイテラブル、またはパラメータグループを定義する辞書
  • weight_decay (float) — 重み減衰。
  • **kwargs (追加のキーワード引数、任意) — その他の引数。

Dummy optimizer はモデルのパラメータまたはパラメータグループを提示します。これは主に、deepspeed 設定ファイルでオプティマイザーの設定が指定されている場合、従来のトレーニングループに従うために使用されます。

DummyScheduler

Update on GitHub