Accelerate documentation
DeepSpeed ユーティリティ
DeepSpeed ユーティリティ
DeepSpeedPlugin
get_active_deepspeed_plugin
accelerate.utils.get_active_deepspeed_plugin
< source >( state )
例外
ValueError
ValueError— DeepSpeed が有効化されておらず、この関数が呼び出された場合。
現在アクティブなDeepSpeedPluginを返します。
class accelerate.DeepSpeedPlugin
< source >( hf_ds_config: Any = Nonegradient_accumulation_steps: int = Nonegradient_clipping: float = Nonezero_stage: int = Noneis_train_batch_min: bool = Trueoffload_optimizer_device: str = Noneoffload_param_device: str = Noneoffload_optimizer_nvme_path: str = Noneoffload_param_nvme_path: str = Nonezero3_init_flag: bool = Nonezero3_save_16bit_model: bool = Nonetransformer_moe_cls_names: str = None )
パラメータ
- hf_ds_config (
Any、デフォルトはNone) — DeepSpeed設定ファイルへのパス、dict、またはaccelerate.utils.deepspeed.HfDeepSpeedConfigクラスのオブジェクト。 - gradient_accumulation_steps (
int、デフォルトはNone) — オプティマイザの状態を更新する前に勾配を累積するステップ数。設定されていない場合、Acceleratorの値が直接使用されます。 - gradient_clipping (
float、デフォルトはNone) — 指定した値で勾配クリッピングを有効にします。 - zero_stage (
int、デフォルトはNone) — 選択肢は 0、1、2、3 です。デフォルト値は環境変数から取得されます。 - is_train_batch_min (
bool、デフォルトはTrue) — train と eval の両方の dataloader が指定されている場合、train_batch_sizeを決定します。 - offload_optimizer_device (
str、デフォルトはNone) — 選択可能なオプションは none|cpu|nvme です。ZeRO Stages 2 と 3 の場合にのみ適用されます。 - offload_param_device (
str、デフォルトはNone) — 選択肢は none|cpu|nvme です。ZeRO Stage 3 の場合にのみ適用されます。 - offload_optimizer_nvme_path (
str、デフォルトはNone) — 選択可能なオプションは /nvme|/local_nvme です。ZeRO Stage 3でのみ適用されます。 - offload_param_nvme_path (
str、デフォルトはNone) — 選択可能なオプションは /nvme|/local_nvme です。ZeRO Stage 3 の場合にのみ適用されます。 - zero3_init_flag (
bool、デフォルトはNone) — 16ビットモデルを保存するかどうかを示すフラグ。ZeRO Stage-3でのみ適用されます。 - zero3_save_16bit_model (
bool、デフォルトはNone) — 16ビットモデルを保存するかどうかを示すフラグ。ZeRO Stage-3でのみ適用されます。 - transformer_moe_cls_names (
str、デフォルトはNone) — Transformers の MoE レイヤーのクラス名をカンマ区切りで指定します(大文字と小文字を区別します)。例えば、MixtralSparseMoeBlock、Qwen2MoeSparseMoeBlock、JetMoEAttention、JetMoEBlockなどです。
このプラグインは、DeepSpeed を統合するために使用されます。
deepspeed_config_process
< source >( prefix = ''mismatches = Noneconfig = Nonemust_match = True**kwargs )
kwargs の値で DeepSpeed の設定を処理します。
現在のdeepspeedプラグイン設定を使用するようにHfDeepSpeedWeakrefを設定します
クラス accelerate.utils.DummyScheduler
< source >( optimizertotal_num_steps = Nonewarmup_num_steps = 0lr_scheduler_callable = None**kwargs )
Dummy scheduler はモデルのパラメータまたはパラメータグループを提示します。これは主に、deepspeed 設定ファイルでスケジューラの設定が指定されている場合、従来のトレーニングループに従うために使用されます。
DeepSpeedEnginerWrapper
クラス accelerate.utils.DeepSpeedEngineWrapper
< source >( engine )
deepspeed.runtime.engine.DeepSpeedEngine の内部ラッパーです。これは、一般的なトレーニングループに従うために使用されます。
DeepSpeedエンジンからグローバル勾配ノルムを取得します。
DeepSpeedOptimizerWrapper
クラス accelerate.utils.DeepSpeedOptimizerWrapper
< source >( optimizer )
deepspeedのオプティマイザーをラップする内部ラッパーです。
DeepSpeedSchedulerWrapper
クラス accelerate.utils.DeepSpeedSchedulerWrapper
< source >( scheduleroptimizers )
deepspeedスケジューラをラップする内部ラッパーです。
DummyOptim
クラス accelerate.utils.DummyOptim
< source >( paramslr = 0.001weight_decay = 0**kwargs )
Dummy optimizer はモデルのパラメータまたはパラメータグループを提示します。これは主に、deepspeed 設定ファイルでオプティマイザーの設定が指定されている場合、従来のトレーニングループに従うために使用されます。