Accelerate documentation
Utilitas Megatron-LM
Utilitas Megatron-LM
MegatronLMPlugin
kelas accelerate.utils.MegatronLMPlugin
< source >( tp_degree: int = Nonepp_degree: int = Noneuse_custom_fsdp: bool = Noneoverlap_cpu_optimizer_d2h_h2d: bool = Noneno_load_optim: bool = Noneeod_mask_loss: bool = Noneno_save_optim: bool = Noneoptimizer_cpu_offload: bool = Noneuse_precision_aware_optimizer: bool = Nonedecoder_last_pipeline_num_layers: int = Nonerecompute_granularity: str = Nonerecompute_method: str = Nonerecompute_num_layers: int = Noneattention_backend: bool = Noneexpert_model_parallel_size: int = Nonecontext_parallel_size: int = Noneattention_dropout: float = Nonehidden_dropout: float = Noneattention_softmax_in_fp32: bool = Noneexpert_tensor_parallel_size: int = Nonecalculate_per_token_loss: bool = Noneuse_rotary_position_embeddings: bool = Nonenum_micro_batches: int = Nonegradient_clipping: float = Nonesequence_parallelism: bool = Nonerecompute_activations: bool = Noneuse_distributed_optimizer: bool = Nonepipeline_model_parallel_split_rank: int = Nonenum_layers_per_virtual_pipeline_stage: int = Noneis_train_batch_min: str = Truetrain_iters: int = Nonetrain_samples: int = Noneweight_decay_incr_style: str = 'constant'start_weight_decay: float = Noneend_weight_decay: float = Nonelr_decay_style: str = 'linear'lr_decay_iters: int = Nonelr_decay_samples: int = Nonelr_warmup_iters: int = Nonelr_warmup_samples: int = Nonelr_warmup_fraction: float = Nonemin_lr: float = 0consumed_samples: list[int] = Noneno_wd_decay_cond: typing.Callable | None = Nonescale_lr_cond: typing.Callable | None = Nonelr_mult: float = 1.0megatron_dataset_flag: bool = Falseseq_length: int = Noneencoder_seq_length: int = Nonedecoder_seq_length: int = Nonetensorboard_dir: str = Noneset_all_logging_options: bool = Falseeval_iters: int = 100eval_interval: int = 1000return_logits: bool = Falsecustom_train_step_class: typing.Any | None = Nonecustom_train_step_kwargs: dict[str, typing.Any] | None = Nonecustom_model_provider_function: typing.Callable | None = Nonecustom_prepare_model_function: typing.Callable | None = Nonecustom_megatron_datasets_provider_function: typing.Callable | None = Nonecustom_get_batch_function: typing.Callable | None = Nonecustom_loss_function: typing.Callable | None = Noneother_megatron_args: dict[str, typing.Any] | None = None )
Parameter
- tp_degree (
int, defaultnyaNone) β Derajat parallelisme tensor. - pp_degree (
int, defaultnyaNone) β Derajat paralelisme pipeline. - num_micro_batches (
int, defaultnyaNone) β Jumlah micro-batch. - gradient_clipping (
float, defaultnyaNone) β Nilai pemotongan gradien berdasarkan L2 Norm global (0 untuk menonaktifkan). - sequence_parallelism (
bool, defaultnyaNone) β Aktifkan paralelisasi urutan. - recompute_activations (
bool, defaultnyaNone) β Aktifkan rekomputasi aktivasi selektif. - use_distributed_optimizer (
bool, defaultnyaNone) β Aktifkan distributed optimizer. - pipeline_model_parallel_split_rank (
int, defaultnyaNone) β Rank tempat encoder dan decoder harus dipisahkan. - num_layers_per_virtual_pipeline_stage (
int, defaultnyaNone) β Jumlah lapisan per tahap pipeline virtual. - is_train_batch_min (
str, defaultnyaTrue) β Jika kedua dataloader tran & eval ditentukan, ini akan menentukanmicro_batch_size. - train_iters (
int, defaultnyaNone) β Total jumlah sampel untuk dilatih di seluruh run pelatihan. Perhatikan bahwa salah satu dari train-iters atau train-samples harus disediakan saat menggunakanMegatronLMDummyScheduler. - train_samples (
int, defaultnyaNone) β Total jumlah sampel untuk dilatih di seluruh run pelatihan. Perhatikan bahwa salah satu dari train-iters atau train-samples harus disediakan saat menggunakanMegatronLMDummyScheduler. - weight_decay_incr_style (
str, defaultnya'constant') β Fungsi inkremen weight decay. choices=[βconstantβ, βlinearβ, βcosineβ]. - start_weight_decay (
float, defaultnyaNone) β Koefisien weight decay awal untuk regularisasi L2. - end_weight_decay (
float, defaultnyaNone) β Koefisien peluruhan bobot akhir untuk regularisasi L2. - lr_decay_style (
str, defaultnya'linear') β Fungsi peluruhan learning rate. choices=[βconstantβ, βlinearβ, βcosineβ]. - lr_decay_iters (
int, defaultnyaNone) β Jumlah iterasi untuk peluruhan laju belajar. Jika None, defaultnya adalahtrain_iters. - lr_decay_samples (
int, defaultnyaNone) β Jumlah sampel untuk peluruhan laju belajar. Jika None, defaultnya adalahtrain_samples. - lr_warmup_iters (
int, defaultnyaNone) β Jumlah iterasi untuk melakukan pemanasan linear pada learning rate. - lr_warmup_samples (
int, defaultnyaNone) β Jumlah sampel untuk melakukan pemanasan linear pada learning rate. - lr_warmup_fraction (
float, defaultnyaNone) β Fraksi dari lr-warmup-(iters/samples) untuk melakukan warmup linear pada learning rate. - min_lr (
float, defaultnya0) β Nilai minimum untuk learning rate. Scheduler memotong nilai di bawah ambang batas ini. - consumed_samples (
List, defaultnyaNone) β Jumlah sampel yang dikonsumsi dalam urutan yang sama dengan dataloaders pada pemanggilanaccelerator.prepare. - no_wd_decay_cond (
Optional, defaultnyaNone) β Kondisi untuk menonaktifkan weight decay. - scale_lr_cond (
Optional, defaultnyaNone) β Kondisi untuk menskalakan learning rate. - lr_mult (
float, defaultnya1.0) β Pengali learning rate. - megatron_dataset_flag (
bool, defaultnyaFalse) β Apakah format dataset mengikuti format Indexed/Cached/MemoryMapped dari Megatron-LM. - seq_length (
int, defaultnyaNone) β Panjang maksimum urutan yang akan diproses. - encoder_seq_length (
int, defaultnyaNone) β Panjang maksimum urutan yang akan diproses oleh encoder. - decoder_seq_length (
int, defaultnyaNone) β Panjang maksimum urutan untuk diproses oleh decoder. - tensorboard_dir (
str, defaultnyaNone) β Path untuk menyimpan log tensorboard. - set_all_logging_options (
bool, defaultnyaFalse) β Apakah akan mengatur semua opsi log. - eval_iters (
int, defaultnya100) β Jumlah iterasi yang dijalankan untuk evaluasi validasi/tes. - eval_interval (
int, defaultnya1000) β Interval antara menjalankan evaluasi pada set validasi. - return_logits (
bool, defaultnyaFalse) β Apakah akan mengembalikan logits dari model. - custom_train_step_class (
Optional, defaultnyaNone) β Kelas langkah pelatihan kustom. - custom_train_step_kwargs (
Optional, defaultnyaNone) β Kwargs langkah pelatihan kustom. - custom_model_provider_function (
Optional, defaultnyaNone) β Fungsi penyedia model kustom. - custom_prepare_model_function (
Optional, defaultnyaNone) β Fungsi prepare model kustom. - custom_megatron_datasets_provider_function (
Optional, defaultnyaNone) β Fungsi penyedia dataset train_valid_test megatron kustom. - custom_get_batch_function (
Optional, defaultnyaNone) β Fungsi get batch kustom. - custom_loss_function (
Optional, defaultnyaNone) β Fungsi loss kustom. - other_megatron_args (
Optional, defaultnyaNone) β Argumen Megatron-LM lainnya. Silakan merujuk ke Megatron-LM.
Plugin untuk Megatron-LM guna memungkinkan paralelisme tensor, pipeline, urutan, dan data. Juga untuk memungkinkan rekomputasi aktivasi selektif dan kernel terpadu yang dioptimalkan.
MegatronLMDummyScheduler
kelas accelerate.utils.MegatronLMDummyScheduler
< source >( optimizertotal_num_steps = Nonewarmup_num_steps = 0**kwargs )
Dummy scheduler menyajikan parameter model atau grup parameter, yang terutama digunakan untuk mengikuti loop pelatihan konvensional ketika konfigurasi scheduler ditentukan dalam file konfigurasi deepspeed.
MegatronLMDummyDataLoader
kelas accelerate.utils.MegatronLMDummyDataLoader
< source >( **dataset_kwargs )
Dataloader dummy menyajikan parameter model atau grup parameter, yang terutama digunakan untuk mengikuti pelatihan konvensional
AbstractTrainStep
Kelas abstrak untuk batching, forward pass, dan handler loss.
GPTTrainStep
kelas accelerate.utils.GPTTrainStep
< source >( acceleratorargs )
Kelas langkah pelatihan GPT.
BertTrainStep
kelas accelerate.utils.BertTrainStep
< source >( acceleratorargs )
Kelas langkah pelatihan Bert.
T5TrainStep
kelas accelerate.utils.T5TrainStep
< source >( acceleratorargs )
Kelas langkah pelatihan T5.
avg_losses_across_data_parallel_group
accelerate.utils.avg_losses_across_data_parallel_group
< source >( losses )
Rata-rata kerugian di seluruh grup paralel data.