Accelerate documentation

Utilitas Megatron-LM

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Utilitas Megatron-LM

MegatronLMPlugin

kelas accelerate.utils.MegatronLMPlugin

< >

( tp_degree: int = Nonepp_degree: int = Noneuse_custom_fsdp: bool = Noneoverlap_cpu_optimizer_d2h_h2d: bool = Noneno_load_optim: bool = Noneeod_mask_loss: bool = Noneno_save_optim: bool = Noneoptimizer_cpu_offload: bool = Noneuse_precision_aware_optimizer: bool = Nonedecoder_last_pipeline_num_layers: int = Nonerecompute_granularity: str = Nonerecompute_method: str = Nonerecompute_num_layers: int = Noneattention_backend: bool = Noneexpert_model_parallel_size: int = Nonecontext_parallel_size: int = Noneattention_dropout: float = Nonehidden_dropout: float = Noneattention_softmax_in_fp32: bool = Noneexpert_tensor_parallel_size: int = Nonecalculate_per_token_loss: bool = Noneuse_rotary_position_embeddings: bool = Nonenum_micro_batches: int = Nonegradient_clipping: float = Nonesequence_parallelism: bool = Nonerecompute_activations: bool = Noneuse_distributed_optimizer: bool = Nonepipeline_model_parallel_split_rank: int = Nonenum_layers_per_virtual_pipeline_stage: int = Noneis_train_batch_min: str = Truetrain_iters: int = Nonetrain_samples: int = Noneweight_decay_incr_style: str = 'constant'start_weight_decay: float = Noneend_weight_decay: float = Nonelr_decay_style: str = 'linear'lr_decay_iters: int = Nonelr_decay_samples: int = Nonelr_warmup_iters: int = Nonelr_warmup_samples: int = Nonelr_warmup_fraction: float = Nonemin_lr: float = 0consumed_samples: list[int] = Noneno_wd_decay_cond: typing.Callable | None = Nonescale_lr_cond: typing.Callable | None = Nonelr_mult: float = 1.0megatron_dataset_flag: bool = Falseseq_length: int = Noneencoder_seq_length: int = Nonedecoder_seq_length: int = Nonetensorboard_dir: str = Noneset_all_logging_options: bool = Falseeval_iters: int = 100eval_interval: int = 1000return_logits: bool = Falsecustom_train_step_class: typing.Any | None = Nonecustom_train_step_kwargs: dict[str, typing.Any] | None = Nonecustom_model_provider_function: typing.Callable | None = Nonecustom_prepare_model_function: typing.Callable | None = Nonecustom_megatron_datasets_provider_function: typing.Callable | None = Nonecustom_get_batch_function: typing.Callable | None = Nonecustom_loss_function: typing.Callable | None = Noneother_megatron_args: dict[str, typing.Any] | None = None )

Parameter

  • tp_degree (int, defaultnya None) β€” Derajat parallelisme tensor.
  • pp_degree (int, defaultnya None) β€” Derajat paralelisme pipeline.
  • num_micro_batches (int, defaultnya None) β€” Jumlah micro-batch.
  • gradient_clipping (float, defaultnya None) β€” Nilai pemotongan gradien berdasarkan L2 Norm global (0 untuk menonaktifkan).
  • sequence_parallelism (bool, defaultnya None) β€” Aktifkan paralelisasi urutan.
  • recompute_activations (bool, defaultnya None) β€” Aktifkan rekomputasi aktivasi selektif.
  • use_distributed_optimizer (bool, defaultnya None) β€” Aktifkan distributed optimizer.
  • pipeline_model_parallel_split_rank (int, defaultnya None) β€” Rank tempat encoder dan decoder harus dipisahkan.
  • num_layers_per_virtual_pipeline_stage (int, defaultnya None) β€” Jumlah lapisan per tahap pipeline virtual.
  • is_train_batch_min (str, defaultnya True) β€” Jika kedua dataloader tran & eval ditentukan, ini akan menentukan micro_batch_size.
  • train_iters (int, defaultnya None) β€” Total jumlah sampel untuk dilatih di seluruh run pelatihan. Perhatikan bahwa salah satu dari train-iters atau train-samples harus disediakan saat menggunakan MegatronLMDummyScheduler.
  • train_samples (int, defaultnya None) β€” Total jumlah sampel untuk dilatih di seluruh run pelatihan. Perhatikan bahwa salah satu dari train-iters atau train-samples harus disediakan saat menggunakan MegatronLMDummyScheduler.
  • weight_decay_incr_style (str, defaultnya 'constant') β€” Fungsi inkremen weight decay. choices=[β€œconstant”, β€œlinear”, β€œcosine”].
  • start_weight_decay (float, defaultnya None) β€” Koefisien weight decay awal untuk regularisasi L2.
  • end_weight_decay (float, defaultnya None) β€” Koefisien peluruhan bobot akhir untuk regularisasi L2.
  • lr_decay_style (str, defaultnya 'linear') β€” Fungsi peluruhan learning rate. choices=[β€˜constant’, β€˜linear’, β€˜cosine’].
  • lr_decay_iters (int, defaultnya None) β€” Jumlah iterasi untuk peluruhan laju belajar. Jika None, defaultnya adalah train_iters.
  • lr_decay_samples (int, defaultnya None) β€” Jumlah sampel untuk peluruhan laju belajar. Jika None, defaultnya adalah train_samples.
  • lr_warmup_iters (int, defaultnya None) β€” Jumlah iterasi untuk melakukan pemanasan linear pada learning rate.
  • lr_warmup_samples (int, defaultnya None) β€” Jumlah sampel untuk melakukan pemanasan linear pada learning rate.
  • lr_warmup_fraction (float, defaultnya None) β€” Fraksi dari lr-warmup-(iters/samples) untuk melakukan warmup linear pada learning rate.
  • min_lr (float, defaultnya 0) β€” Nilai minimum untuk learning rate. Scheduler memotong nilai di bawah ambang batas ini.
  • consumed_samples (List, defaultnya None) β€” Jumlah sampel yang dikonsumsi dalam urutan yang sama dengan dataloaders pada pemanggilan accelerator.prepare.
  • no_wd_decay_cond (Optional, defaultnya None) β€” Kondisi untuk menonaktifkan weight decay.
  • scale_lr_cond (Optional, defaultnya None) β€” Kondisi untuk menskalakan learning rate.
  • lr_mult (float, defaultnya 1.0) β€” Pengali learning rate.
  • megatron_dataset_flag (bool, defaultnya False) β€” Apakah format dataset mengikuti format Indexed/Cached/MemoryMapped dari Megatron-LM.
  • seq_length (int, defaultnya None) β€” Panjang maksimum urutan yang akan diproses.
  • encoder_seq_length (int, defaultnya None) β€” Panjang maksimum urutan yang akan diproses oleh encoder.
  • decoder_seq_length (int, defaultnya None) β€” Panjang maksimum urutan untuk diproses oleh decoder.
  • tensorboard_dir (str, defaultnya None) β€” Path untuk menyimpan log tensorboard.
  • set_all_logging_options (bool, defaultnya False) β€” Apakah akan mengatur semua opsi log.
  • eval_iters (int, defaultnya 100) β€” Jumlah iterasi yang dijalankan untuk evaluasi validasi/tes.
  • eval_interval (int, defaultnya 1000) β€” Interval antara menjalankan evaluasi pada set validasi.
  • return_logits (bool, defaultnya False) β€” Apakah akan mengembalikan logits dari model.
  • custom_train_step_class (Optional, defaultnya None) β€” Kelas langkah pelatihan kustom.
  • custom_train_step_kwargs (Optional, defaultnya None) β€” Kwargs langkah pelatihan kustom.
  • custom_model_provider_function (Optional, defaultnya None) β€” Fungsi penyedia model kustom.
  • custom_prepare_model_function (Optional, defaultnya None) β€” Fungsi prepare model kustom.
  • custom_megatron_datasets_provider_function (Optional, defaultnya None) β€” Fungsi penyedia dataset train_valid_test megatron kustom.
  • custom_get_batch_function (Optional, defaultnya None) β€” Fungsi get batch kustom.
  • custom_loss_function (Optional, defaultnya None) β€” Fungsi loss kustom.
  • other_megatron_args (Optional, defaultnya None) β€” Argumen Megatron-LM lainnya. Silakan merujuk ke Megatron-LM.

Plugin untuk Megatron-LM guna memungkinkan paralelisme tensor, pipeline, urutan, dan data. Juga untuk memungkinkan rekomputasi aktivasi selektif dan kernel terpadu yang dioptimalkan.

MegatronLMDummyScheduler

kelas accelerate.utils.MegatronLMDummyScheduler

< >

( optimizertotal_num_steps = Nonewarmup_num_steps = 0**kwargs )

Parameter

  • optimizer (torch.optim.optimizer.Optimizer) β€” Optimizer yang akan dibungkus.
  • total_num_steps (int) β€” Jumlah total langkah.
  • warmup_num_steps (int) β€” Jumlah langkah untuk warmup.
  • **kwargs (argumen kata kunci tambahan, opsional) β€” Argumen lainnya.

Dummy scheduler menyajikan parameter model atau grup parameter, yang terutama digunakan untuk mengikuti loop pelatihan konvensional ketika konfigurasi scheduler ditentukan dalam file konfigurasi deepspeed.

MegatronLMDummyDataLoader

kelas accelerate.utils.MegatronLMDummyDataLoader

< >

( **dataset_kwargs )

Parameter

  • **dataset_kwargs β€” Argumen data Megatron.

Dataloader dummy menyajikan parameter model atau grup parameter, yang terutama digunakan untuk mengikuti pelatihan konvensional

AbstractTrainStep

kelas accelerate.utils.AbstractTrainStep

< >

( name )

Kelas abstrak untuk batching, forward pass, dan handler loss.

GPTTrainStep

kelas accelerate.utils.GPTTrainStep

< >

( acceleratorargs )

Parameter

  • args (argparse.Namespace) β€” Argumen Megatron-LM.

Kelas langkah pelatihan GPT.

BertTrainStep

kelas accelerate.utils.BertTrainStep

< >

( acceleratorargs )

Parameter

  • args (argparse.Namespace) β€” Argumen Megatron-LM.

Kelas langkah pelatihan Bert.

T5TrainStep

kelas accelerate.utils.T5TrainStep

< >

( acceleratorargs )

Parameter

  • args (argparse.Namespace) β€” Argumen Megatron-LM.

Kelas langkah pelatihan T5.

avg_losses_across_data_parallel_group

accelerate.utils.avg_losses_across_data_parallel_group

< >

( losses )

Parameter

  • losses (List[Tensor]) β€” Daftar loss untuk dirata-ratakan di seluruh grup data parallel.

Rata-rata kerugian di seluruh grup paralel data.

Update on GitHub