# Утилиты Megatron-LM

## MegatronLMPlugin[[accelerate.utils.MegatronLMPlugin]]

#### accelerate.utils.MegatronLMPlugin[[accelerate.utils.MegatronLMPlugin]]

```python
accelerate.utils.MegatronLMPlugin(tp_degree: int = None, pp_degree: int = None, use_custom_fsdp: bool = None, overlap_cpu_optimizer_d2h_h2d: bool = None, no_load_optim: bool = None, eod_mask_loss: bool = None, no_save_optim: bool = None, optimizer_cpu_offload: bool = None, use_precision_aware_optimizer: bool = None, decoder_last_pipeline_num_layers: int = None, recompute_granularity: str = None, recompute_method: str = None, recompute_num_layers: int = None, attention_backend: bool = None, expert_model_parallel_size: int = None, context_parallel_size: int = None, attention_dropout: float = None, hidden_dropout: float = None, attention_softmax_in_fp32: bool = None, expert_tensor_parallel_size: int = None, calculate_per_token_loss: bool = None, use_rotary_position_embeddings: bool = None, num_micro_batches: int = None, gradient_clipping: float = None, sequence_parallelism: bool = None, recompute_activations: bool = None, use_distributed_optimizer: bool = None, pipeline_model_parallel_split_rank: int = None, num_layers_per_virtual_pipeline_stage: int = None, is_train_batch_min: str = True, train_iters: int = None, train_samples: int = None, weight_decay_incr_style: str = 'constant', start_weight_decay: float = None, end_weight_decay: float = None, lr_decay_style: str = 'linear', lr_decay_iters: int = None, lr_decay_samples: int = None, lr_warmup_iters: int = None, lr_warmup_samples: int = None, lr_warmup_fraction: float = None, min_lr: float = 0, consumed_samples: list[int] = None, no_wd_decay_cond: typing.Callable | None = None, scale_lr_cond: typing.Callable | None = None, lr_mult: float = 1.0, megatron_dataset_flag: bool = False, seq_length: int = None, encoder_seq_length: int = None, decoder_seq_length: int = None, tensorboard_dir: str = None, set_all_logging_options: bool = False, eval_iters: int = 100, eval_interval: int = 1000, return_logits: bool = False, custom_train_step_class: typing.Any | None = None, custom_train_step_kwargs: dict[str, typing.Any] | None = None, custom_model_provider_function: typing.Callable | None = None, custom_prepare_model_function: typing.Callable | None = None, custom_megatron_datasets_provider_function: typing.Callable | None = None, custom_get_batch_function: typing.Callable | None = None, custom_loss_function: typing.Callable | None = None, other_megatron_args: dict[str, typing.Any] | None = None)
```

[Источник](https://github.com/huggingface/accelerate/blob/v1.16.0/src/accelerate/utils/dataclasses.py#L2211)

**Параметры:**

tp_degree (`int`, по умолчанию `None`) : степень параллелизма тензоров.

pp_degree (`int`, по умолчанию `None`) : Степень параллелизма конвейера.

num_micro_batches (`int`, по умолчанию `None`) : Количество микробатчей.

gradient_clipping (`float`, по умолчанию `None`) : Значение обрезки градиентов на основе глобальной L2-нормы (0 для отключения).

sequence_parallelism (`bool`, по умолчанию `None`) : Включает параллелизм последовательностей.

recompute_activations (`bool`, по умолчанию `None`) : Включает выборочный пересчёт активаций.

use_distributed_optimizer (`bool`, по умолчанию `None`) : Включить распределённый оптимизатор.

pipeline_model_parallel_split_rank (`int`, по умолчанию `None`) : Ранг, на котором следует разделить энкодер и декодер.

num_layers_per_virtual_pipeline_stage (`int`, по умолчанию `None`) : Количество слоёв на каждом виртуальном этапе конвейерной обработки.

is_train_batch_min (`str`, по умолчанию `True`) : Если указаны оба загрузчика данных для tran и eval, этот параметр определяет `micro_batch_size`.

train_iters (`int`, по умолчанию `None`) : Общее количество образцов для обучения во всех тренировочных прогонах. Обратите внимание, что при использовании `MegatronLMDummyScheduler` необходимо указать либо train-iters, либо train-samples.

train_samples (`int`, по умолчанию `None`) : Общее количество образцов для обучения во всех тренировочных прогонах. Обратите внимание, что при использовании `MegatronLMDummyScheduler` необходимо указать либо train-iters, либо train-samples.

weight_decay_incr_style (`str`, по умолчанию `'constant'`) : функция приращения весового затухания. choices=["constant", "linear", "cosine"].

start_weight_decay (`float`, по умолчанию `None`) : Начальный коэффициент затухания весов для L2-регуляризации.

end_weight_decay (`float`, по умолчанию `None`) : Коэффициент весового затухания в конце обучения для L2-регуляризации.

lr_decay_style (`str`, по умолчанию `'linear'`) : Функция затухания скорости обучения. choices=['constant', 'linear', 'cosine'].

lr_decay_iters (`int`, по умолчанию `None`) : Количество итераций для затухания скорости обучения. Если значение равно None, по умолчанию используется `train_iters`.

lr_decay_samples (`int`, по умолчанию `None`) : Количество образцов для затухания скорости обучения. Если значение равно None, по умолчанию используется `train_samples`.

lr_warmup_iters (`int`, по умолчанию `None`) : Количество итераций для линейного повышения скорости обучения.

lr_warmup_samples (`int`, по умолчанию `None`) : Количество образцов, на протяжении которых линейно выполняется разгон скорости обучения.

lr_warmup_fraction (`float`, по умолчанию `None`) : Доля lr-warmup-(итераций/образцов), в течение которой линейно выполняется прогрев скорости обучения.

min_lr (`float`, по умолчанию `0`) : Минимальное значение для скорости обучения. Планировщик обрезает значения ниже этого порога.

consumed_samples (`List`, по умолчанию `None`) : Количество выборок, потребляемых в том же порядке, что и у загрузчиков данных, переданных в вызов `accelerator.prepare`.

no_wd_decay_cond (`Optional`, по умолчанию `None`) : Условие для отключения weight decay.

scale_lr_cond (`Optional`, по умолчанию `None`) : Условие для масштабирования скорости обучения.

lr_mult (`float`, по умолчанию `1.0`) : Множитель скорости обучения.

megatron_dataset_flag (`bool`, по умолчанию `False`) : Указывает, следует ли формат набора данных формату Indexed/Cached/MemoryMapped от Megatron-LM.

seq_length (`int`, по умолчанию `None`) : Максимальная длина последовательности для обработки.

encoder_seq_length (`int`, по умолчанию `None`) : Максимальная длина последовательности для обработки энкодером.

decoder_seq_length (`int`, по умолчанию `None`) : Максимальная длина последовательности для обработки декодером.

tensorboard_dir (`str`, по умолчанию `None`) : Путь для сохранения журналов tensorboard.

set_all_logging_options (`bool`, по умолчанию `False`) : Устанавливать ли все параметры журналирования.

eval_iters (`int`, по умолчанию `100`) : Количество итераций для выполнения оценки валидации/теста.

eval_interval (`int`, по умолчанию `1000`) : Интервал между запусками оценки на валидационном наборе данных.

return_logits (`bool`, по умолчанию `False`) : Возвращать ли логиты из модели.

custom_train_step_class (`Optional`, по умолчанию `None`) : Пользовательский класс шага обучения.

custom_train_step_kwargs (`Optional`, по умолчанию `None`) : Пользовательские аргументы для шага обучения.

custom_model_provider_function (`Optional`, по умолчанию `None`) : Пользовательская функция-провайдер модели.

custom_prepare_model_function (`Optional`, по умолчанию `None`) : Пользовательская функция подготовки модели.

custom_megatron_datasets_provider_function (`Optional`, по умолчанию `None`) : Пользовательская функция-провайдер датасетов train_valid_test для megatron.

custom_get_batch_function (`Optional`, по умолчанию `None`) : Пользовательская функция получения батча.

custom_loss_function (`Optional`, по умолчанию `None`) : Пользовательская функция потерь.

other_megatron_args (`Optional`, по умолчанию `None`) : Другие аргументы Megatron-LM. См. документацию Megatron-LM.

Плагин для Megatron-LM, обеспечивающий тензорное, конвейерное, последовательное и данные параллелизм. Также позволяет использовать выборочный пересчет активаций и оптимизированные слиянные ядра.

## MegatronLMDummyScheduler[[accelerate.utils.MegatronLMDummyScheduler]]

#### accelerate.utils.MegatronLMDummyScheduler[[accelerate.utils.MegatronLMDummyScheduler]]

```python
accelerate.utils.MegatronLMDummyScheduler(optimizer, total_num_steps = None, warmup_num_steps = 0, **kwargs)
```

[Источник](https://github.com/huggingface/accelerate/blob/v1.16.0/src/accelerate/utils/megatron_lm.py#L378)

**Параметры:**

optimizer (`torch.optim.optimizer.Optimizer`) : Оптимизатор, который нужно обернуть.

total_num_steps (int) : Общее количество шагов.

warmup_num_steps (int) : Количество шагов для разгона.

- ****kwargs** (дополнительные именованные аргументы, *необязательный*) : Другие аргументы.

Dummy scheduler представляет параметры модели или группы параметров; он используется в первую очередь для следования стандартному циклу обучения, когда конфигурация планировщика указана в файле конфигурации deepspeed.

## MegatronLMDummyDataLoader[[accelerate.utils.MegatronLMDummyDataLoader]]

#### accelerate.utils.MegatronLMDummyDataLoader[[accelerate.utils.MegatronLMDummyDataLoader]]

```python
accelerate.utils.MegatronLMDummyDataLoader(**dataset_kwargs)
```

[Источник](https://github.com/huggingface/accelerate/blob/v1.16.0/src/accelerate/utils/megatron_lm.py#L162)

**Параметры:**

- ****dataset_kwargs** : аргументы данных Megatron.

Dummy dataloader предоставляет параметры модели или группы параметров; это используется в первую очередь для следования стандартной процедуре обучения

## AbstractTrainStep[[accelerate.utils.AbstractTrainStep]]

#### accelerate.utils.AbstractTrainStep[[accelerate.utils.AbstractTrainStep]]

```python
accelerate.utils.AbstractTrainStep(name)
```

[Источник](https://github.com/huggingface/accelerate/blob/v1.16.0/src/accelerate/utils/megatron_lm.py#L415)

Абстрактный класс для пакетной обработки, прямого прохода и обработки функции потерь.

## GPTTrainStep[[accelerate.utils.GPTTrainStep]]

#### accelerate.utils.GPTTrainStep[[accelerate.utils.GPTTrainStep]]

```python
accelerate.utils.GPTTrainStep(accelerator, args)
```

[Источник](https://github.com/huggingface/accelerate/blob/v1.16.0/src/accelerate/utils/megatron_lm.py#L574)

**Параметры:**

args (`argparse.Namespace`) : аргументы Megatron-LM.

Класс шага обучения GPT.

## BertTrainStep[[accelerate.utils.BertTrainStep]]

#### accelerate.utils.BertTrainStep[[accelerate.utils.BertTrainStep]]

```python
accelerate.utils.BertTrainStep(accelerator, args)
```

[Источник](https://github.com/huggingface/accelerate/blob/v1.16.0/src/accelerate/utils/megatron_lm.py#L432)

**Параметры:**

args (`argparse.Namespace`) : аргументы Megatron-LM.

Класс шага обучения Bert.

## T5TrainStep[[accelerate.utils.T5TrainStep]]

#### accelerate.utils.T5TrainStep[[accelerate.utils.T5TrainStep]]

```python
accelerate.utils.T5TrainStep(accelerator, args)
```

[Источник](https://github.com/huggingface/accelerate/blob/v1.16.0/src/accelerate/utils/megatron_lm.py#L718)

**Параметры:**

args (`argparse.Namespace`) : аргументы Megatron-LM.

Класс шага обучения T5.

## avg_losses_across_data_parallel_group[[accelerate.utils.avg_losses_across_data_parallel_group]]

#### accelerate.utils.avg_losses_across_data_parallel_group[[accelerate.utils.avg_losses_across_data_parallel_group]]

```python
accelerate.utils.avg_losses_across_data_parallel_group(losses)
```

[Источник](https://github.com/huggingface/accelerate/blob/v1.16.0/src/accelerate/utils/megatron_lm.py#L1217)

**Параметры:**

losses (List[Tensor]) : Список потерь для усреднения по группе data parallel.

Средние потери в группе параллелизма данных.

