Accelerate documentation

DeepSpeed ユーティリティ

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v1.16.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

DeepSpeed ユーティリティ

DeepSpeedPlugin

get_active_deepspeed_plugin

accelerate.utils.get_active_deepspeed_plugin

< >

( state )

例外

ValueError

  • ValueError — DeepSpeed が有効化されておらず、この関数が呼び出された場合。

現在アクティブなDeepSpeedPluginを返します。

class accelerate.DeepSpeedPlugin

< >

( hf_ds_config: Any = Nonegradient_accumulation_steps: int = Nonegradient_clipping: float = Nonezero_stage: int = Noneis_train_batch_min: bool = Trueoffload_optimizer_device: str = Noneoffload_param_device: str = Noneoffload_optimizer_nvme_path: str = Noneoffload_param_nvme_path: str = Nonezero3_init_flag: bool = Nonezero3_save_16bit_model: bool = Nonetransformer_moe_cls_names: str = None )

パラメータ

  • hf_ds_config (Any、デフォルトはNone) — DeepSpeed設定ファイルへのパス、dict、またはaccelerate.utils.deepspeed.HfDeepSpeedConfigクラスのオブジェクト。
  • gradient_accumulation_steps (int、デフォルトはNone) — オプティマイザの状態を更新する前に勾配を累積するステップ数。設定されていない場合、Acceleratorの値が直接使用されます。
  • gradient_clipping (float、デフォルトはNone) — 指定した値で勾配クリッピングを有効にします。
  • zero_stage (int、デフォルトはNone) — 選択肢は 0、1、2、3 です。デフォルト値は環境変数から取得されます。
  • is_train_batch_min (bool、デフォルトは True) — train と eval の両方の dataloader が指定されている場合、train_batch_size を決定します。
  • offload_optimizer_device (str、デフォルトは None) — 選択可能なオプションは none|cpu|nvme です。ZeRO Stages 2 と 3 の場合にのみ適用されます。
  • offload_param_device (str、デフォルトはNone) — 選択肢は none|cpu|nvme です。ZeRO Stage 3 の場合にのみ適用されます。
  • offload_optimizer_nvme_path (str、デフォルトはNone) — 選択可能なオプションは /nvme|/local_nvme です。ZeRO Stage 3でのみ適用されます。
  • offload_param_nvme_path (str、デフォルトは None) — 選択可能なオプションは /nvme|/local_nvme です。ZeRO Stage 3 の場合にのみ適用されます。
  • zero3_init_flag (bool、デフォルトはNone) — 16ビットモデルを保存するかどうかを示すフラグ。ZeRO Stage-3でのみ適用されます。
  • zero3_save_16bit_model (bool、デフォルトはNone) — 16ビットモデルを保存するかどうかを示すフラグ。ZeRO Stage-3でのみ適用されます。
  • transformer_moe_cls_names (str、デフォルトは None) — Transformers の MoE レイヤーのクラス名をカンマ区切りで指定します(大文字と小文字を区別します)。例えば、MixtralSparseMoeBlock、Qwen2MoeSparseMoeBlock、JetMoEAttention、JetMoEBlock などです。

このプラグインは、DeepSpeed を統合するために使用されます。

deepspeed_config_process

< >

( prefix = ''mismatches = Noneconfig = Nonemust_match = True**kwargs )

kwargs の値で DeepSpeed の設定を処理します。

select

< >

( _from_accelerator_state: bool = False )

現在のdeepspeedプラグイン設定を使用するようにHfDeepSpeedWeakrefを設定します

クラス accelerate.utils.DummyScheduler

< >

( optimizertotal_num_steps = Nonewarmup_num_steps = 0lr_scheduler_callable = None**kwargs )

パラメータ

  • optimizer (torch.optim.optimizer.Optimizer) — ラップするオプティマイザー。
  • total_num_steps (int, 任意) — ステップの総数。
  • warmup_num_steps (int, 任意) — ウォームアップのステップ数。
  • lr_scheduler_callable (callable, オプション) — LR Scheduler を作成する callable な関数です。引数として optimizer のみを接受します。
  • **kwargs (追加のキーワード引数、任意) — その他の引数。

Dummy scheduler はモデルのパラメータまたはパラメータグループを提示します。これは主に、deepspeed 設定ファイルでスケジューラの設定が指定されている場合、従来のトレーニングループに従うために使用されます。

DeepSpeedEnginerWrapper

クラス accelerate.utils.DeepSpeedEngineWrapper

< >

( engine )

パラメータ

  • engine (deepspeed.runtime.engine.DeepSpeedEngine) — ラップする deepspeed エンジン

deepspeed.runtime.engine.DeepSpeedEngine の内部ラッパーです。これは、一般的なトレーニングループに従うために使用されます。

get_global_grad_norm

< >

( )

DeepSpeedエンジンからグローバル勾配ノルムを取得します。

DeepSpeedOptimizerWrapper

クラス accelerate.utils.DeepSpeedOptimizerWrapper

< >

( optimizer )

パラメータ

  • optimizer (torch.optim.optimizer.Optimizer) — ラップするオプティマイザー。

deepspeedのオプティマイザーをラップする内部ラッパーです。

DeepSpeedSchedulerWrapper

クラス accelerate.utils.DeepSpeedSchedulerWrapper

< >

( scheduleroptimizers )

パラメータ

  • scheduler (torch.optim.lr_scheduler.LambdaLR) — ラップするスケジューラー。
  • optimizers(torch.optim.Optimizer 1 つまたはリスト)—

deepspeedスケジューラをラップする内部ラッパーです。

DummyOptim

クラス accelerate.utils.DummyOptim

< >

( paramslr = 0.001weight_decay = 0**kwargs )

パラメータ

  • lr (float) — 学習率。
  • params (iterable) — 最適化対象のパラメータのイテラブル、またはパラメータグループを定義する辞書
  • weight_decay (float) — 重み減衰。
  • **kwargs (追加のキーワード引数、任意) — その他の引数。

Dummy optimizer はモデルのパラメータまたはパラメータグループを提示します。これは主に、deepspeed 設定ファイルでオプティマイザーの設定が指定されている場合、従来のトレーニングループに従うために使用されます。

DummyScheduler

Update on GitHub