# Обработчики аргументов Kwargs

Следующие объекты можно передать в основной [Accelerator](/docs/accelerate/main/ru/package_reference/accelerator#accelerate.Accelerator), чтобы настроить способ создания некоторых объектов PyTorch, связанных с распределённым обучением или смешанной точностью.

## AutocastKwargs[[accelerate.AutocastKwargs]]

#### accelerate.AutocastKwargs[[accelerate.AutocastKwargs]]

```python
accelerate.AutocastKwargs(enabled: bool = True, cache_enabled: bool | None = None)
```

[Источник](https://github.com/huggingface/accelerate/blob/main/src/accelerate/utils/dataclasses.py#L104)

Используйте этот объект в вашем [Accelerator](/docs/accelerate/main/ru/package_reference/accelerator#accelerate.Accelerator), чтобы настроить поведение `torch.autocast`. Подробную информацию о каждом аргументе см. в документации этого [контекстного менеджера](https://pytorch.org/docs/stable/amp.html#torch.autocast).

Пример:

```python
from accelerate import Accelerator
from accelerate.utils import AutocastKwargs

kwargs = AutocastKwargs(cache_enabled=True)
accelerator = Accelerator(kwargs_handlers=[kwargs])
```

## DistributedDataParallelKwargs[[accelerate.DistributedDataParallelKwargs]]

#### accelerate.DistributedDataParallelKwargs[[accelerate.DistributedDataParallelKwargs]]

```python
accelerate.DistributedDataParallelKwargs(dim: int = 0, broadcast_buffers: bool = True, bucket_cap_mb: int = 25, find_unused_parameters: bool = False, check_reduction: bool = False, gradient_as_bucket_view: bool = False, static_graph: bool = False, comm_hook: DDPCommunicationHookType = <DDPCommunicationHookType.NO: 'no'>, comm_wrapper: typing.Literal[<DDPCommunicationHookType.NO: 'no'>, <DDPCommunicationHookType.FP16: 'fp16'>, <DDPCommunicationHookType.BF16: 'bf16'>] = <DDPCommunicationHookType.NO: 'no'>, comm_state_option: dict = <factory>)
```

[Источник](https://github.com/huggingface/accelerate/blob/main/src/accelerate/utils/dataclasses.py#L146)

Используйте этот объект в вашем [Accelerator](/docs/accelerate/main/ru/package_reference/accelerator#accelerate.Accelerator), чтобы настроить способ обёртывания вашей модели в `torch.nn.parallel.DistributedDataParallel`. Подробную информацию о каждом аргументе см. в документации этого [обёртывающего класса](https://pytorch.org/docs/stable/generated/torch.nn.parallel.DistributedDataParallel.html).

Пример:

```python
from accelerate import Accelerator
from accelerate.utils import DistributedDataParallelKwargs

kwargs = DistributedDataParallelKwargs(find_unused_parameters=True)
accelerator = Accelerator(kwargs_handlers=[kwargs])
```

## ProfileKwargs[[accelerate.ProfileKwargs]]

#### accelerate.ProfileKwargs[[accelerate.ProfileKwargs]]

```python
accelerate.ProfileKwargs(activities: list[typing.Literal['cpu', 'xpu', 'mtia', 'cuda', 'hpu']] | None = None, schedule_option: dict[str, int] | None = None, on_trace_ready: typing.Callable | None = None, record_shapes: bool = False, profile_memory: bool = False, with_stack: bool = False, with_flops: bool = False, with_modules: bool = False, output_trace_dir: str | None = None)
```

[Источник](https://github.com/huggingface/accelerate/blob/main/src/accelerate/utils/dataclasses.py#L416)

**Параметры:**

activities (`List[str]`, *необязательный*, по умолчанию `None`) : Список групп активности, используемых при профилировании. Должно быть одним из `"cpu"`, `"xpu"`, `"mtia"`, "hpu" или `"cuda"`.

schedule_option (`Dict[str, int]`, *необязательный*, по умолчанию `None`) : Вариант расписания для профилировщика. Доступные ключи: `wait`, `warmup`, `active`, `repeat` и `skip_first`. Профилировщик пропустит первые `skip_first` шагов, затем будет ждать `wait` шагов, затем выполнит разгон в течение следующих `warmup` шагов, затем будет активно записывать данные в течение следующих `active` шагов, после чего повторит цикл, начиная с шагов `wait`. Необязательное количество циклов задается параметром `repeat`; значение ноль означает, что циклы будут продолжаться до завершения профилирования.

on_trace_ready (`Callable`, *необязательный*, по умолчанию `None`) : Вызываемый объект, который вызывается на каждом шаге, когда расписание возвращает `ProfilerAction.RECORD_AND_SAVE` во время профилирования.

record_shapes (`bool`, *необязательный*, по умолчанию `False`) : Сохранять информацию о формах входных данных оператора.

profile_memory (`bool`, *необязательный*, по умолчанию `False`) : отслеживать выделение/освобождение памяти тензоров

with_stack (`bool`, *необязательный*, по умолчанию `False`) : Записывать исходную информацию (файл и номер строки) для операций.

with_flops (`bool`, *необязательный*, по умолчанию `False`) : Использовать формулу для оценки FLOPS конкретных операторов

with_modules (`bool`, *необязательный*, по умолчанию `False`) : Записывать иерархию модулей (включая имена функций), соответствующую стеку вызовов операции.

output_trace_dir (`str`, *необязательный*, по умолчанию `None`) : Экспортирует собранный трассировочный лог в формате Chrome JSON. Chrome использует представление 'chrome://tracing' для просмотра json-файлов. По умолчанию None, что означает, что профилирование не сохраняет json-файлы.

Используйте этот объект в вашем [Accelerator](/docs/accelerate/main/ru/package_reference/accelerator#accelerate.Accelerator) для настройки инициализации профилировщика. Подробную информацию о каждом аргументе см. в документации этого [context manager](https://pytorch.org/docs/stable/profiler.html#torch.profiler.profile).

Пример:

```python
from accelerate import Accelerator
from accelerate.utils import ProfileKwargs

kwargs = ProfileKwargs(activities=["cpu", "cuda"])
accelerator = Accelerator(kwargs_handlers=[kwargs])
```

#### build[[accelerate.ProfileKwargs.build]]

```python
build()
```

[Источник](https://github.com/huggingface/accelerate/blob/main/src/accelerate/utils/dataclasses.py#L498)

**Возвращает:** `torch.profiler.profile`

Объект профилировщика.

Создайте объект профайлера с текущей конфигурацией.

## GradScalerKwargs[[accelerate.GradScalerKwargs]]

#### accelerate.GradScalerKwargs[[accelerate.GradScalerKwargs]]

```python
accelerate.GradScalerKwargs(init_scale: float = 65536.0, growth_factor: float = 2.0, backoff_factor: float = 0.5, growth_interval: int = 2000, enabled: bool = True)
```

[Источник](https://github.com/huggingface/accelerate/blob/main/src/accelerate/utils/dataclasses.py#L224)

Используйте этот объект в вашем [Accelerator](/docs/accelerate/main/ru/package_reference/accelerator#accelerate.Accelerator), чтобы настроить поведение смешанной точности, в частности, способ создания используемого `torch.amp.GradScaler` или `torch.cuda.amp.GradScaler`. Подробную информацию о каждом аргументе см. в документации этого [scaler](https://pytorch.org/docs/stable/amp.html?highlight=gradscaler).

Пример:

```python
from accelerate import Accelerator
from accelerate.utils import GradScalerKwargs

kwargs = GradScalerKwargs(backoff_factor=0.25)
accelerator = Accelerator(kwargs_handlers=[kwargs])
```

## InitProcessGroupKwargs[[accelerate.InitProcessGroupKwargs]]

#### accelerate.InitProcessGroupKwargs[[accelerate.InitProcessGroupKwargs]]

```python
accelerate.InitProcessGroupKwargs(backend: str | None = 'nccl', init_method: str | None = None, timeout: datetime.timedelta | None = None)
```

[Источник](https://github.com/huggingface/accelerate/blob/main/src/accelerate/utils/dataclasses.py#L249)

Используйте этот объект в вашем [Accelerator](/docs/accelerate/main/ru/package_reference/accelerator#accelerate.Accelerator) для настройки инициализации распределённых процессов. Подробную информацию о каждом аргументе см. в документации этого [метода](https://pytorch.org/docs/stable/distributed.html#torch.distributed.init_process_group).

Примечание: если `timeout` установлено в `None`, значение по умолчанию будет определяться на основе параметра `backend`.

```python
from datetime import timedelta
from accelerate import Accelerator
from accelerate.utils import InitProcessGroupKwargs

kwargs = InitProcessGroupKwargs(timeout=timedelta(seconds=800))
accelerator = Accelerator(kwargs_handlers=[kwargs])
```

## KwargsHandler[[accelerate.utils.KwargsHandler]]

#### accelerate.utils.KwargsHandler[[accelerate.utils.KwargsHandler]]

```python
accelerate.utils.KwargsHandler()
```

[Источник](https://github.com/huggingface/accelerate/blob/main/src/accelerate/utils/dataclasses.py#L59)

Внутренний миксин, реализующий метод `to_kwargs()` для dataclass.

#### to_kwargs[[accelerate.utils.KwargsHandler.to_kwargs]]

```python
to_kwargs()
```

[Источник](https://github.com/huggingface/accelerate/blob/main/src/accelerate/utils/dataclasses.py#L67)

Возвращает словарь, содержащий атрибуты со значениями, отличными от значений по умолчанию для этого класса.

