Transformers documentation

DeepSpeed ZeRO

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

DeepSpeed ZeRO

DeepSpeed ZeRO(Zero Redundancy Optimizer)는 옵티마이저 상태, 그래디언트, 매개변수를 GPU에 걸쳐 샤딩하여 분산 학습의 메모리 중복을 제거합니다. ZeRO에는 세 가지 단계가 있으며, 각 단계는 이전 단계보다 더 많은 상태를 샤딩합니다. DeepSpeed는 추가적인 절약을 위해 CPU 또는 NVMe 메모리로의 오프로딩도 지원합니다. 추가되는 각 단계와 오프로드 레벨은 GPU 간 통신이 증가하는 대가로 피크 메모리를 줄입니다.

                  params        grads       opt states
                ┌──────────┐ ┌──────────┐ ┌──────────┐
ZeRO-1          │██████████│ │██████████│ │███░░░░░░░│  GPU 0
                │██████████│ │██████████│ │░░░███░░░░│  GPU 1
                │██████████│ │██████████│ │░░░░░░████│  GPU 2
                └──────────┘ └──────────┘ └──────────┘
                ┌──────────┐ ┌──────────┐ ┌──────────┐
ZeRO-2          │██████████│ │███░░░░░░░│ │███░░░░░░░│  GPU 0
                │██████████│ │░░░███░░░░│ │░░░███░░░░│  GPU 1
                │██████████│ │░░░░░░████│ │░░░░░░████│  GPU 2
                └──────────┘ └──────────┘ └──────────┘
                ┌──────────┐ ┌──────────┐ ┌──────────┐
ZeRO-3          │███░░░░░░░│ │███░░░░░░░│ │███░░░░░░░│  GPU 0
                │░░░███░░░░│ │░░░███░░░░│ │░░░███░░░░│  GPU 1
                │░░░░░░████│ │░░░░░░████│ │░░░░░░████│  GPU 2
                └──────────┘ └──────────┘ └──────────┘
  █ resident    ░ held on another GPU

ZeRO-2는 ZeRO-3보다 통신 오버헤드가 낮으며, 그라디언트와 옵티마이저 상태를 샤딩합니다. ZeRO-2로 모델이 GPU에 걸쳐 적합하지 않을 경우에만 ZeRO-3를 사용하세요.

설치

PyPI에서 DeepSpeed를 설치하거나, deepspeed extra와 함께 Transformers를 설치하세요.

pip install deepspeed
pip install transformers[deepspeed]

CUDA 관련 설치 오류가 발생하면 DeepSpeed CUDA 문서를 확인하세요. 소스에서 설치하는 것이 더 신뢰할 수 있는 옵션입니다. 이는 사용자의 정확한 하드웨어와 일치하며, PyPI 릴리스에는 아직 없는 기능을 포함하기 때문입니다.

구성

Trainer는 deepspeed 인수를 통해 DeepSpeed를 통합하며, 이 인수는 JSON 설정 파일을 받습니다. 또는 TrainingArguments 대신 Accelerate 설정 파일을 사용할 수도 있습니다.

TrainingArguments
Accelerate 설정 파일

DeepSpeed가 TrainingArguments에서 값을 채우도록 하려면 설정에서 "auto"를 사용하세요. 값을 명시적으로 지정하려면 DeepSpeed 인자와 TrainingArguments 모두에 동일한 값을 사용해야 합니다.

DeepSpeed 설정 옵션의 전체 목록은 DeepSpeed Configuration JSON 참고 문서를 참조하세요.

{
    "train_micro_batch_size_per_gpu": "auto",
    "gradient_accumulation_steps": "auto",
    "optimizer": {
        "type": "AdamW",
        "params": { "lr": "auto" }
    },
    "fp16": { "enabled": "auto" }
}
DeepSpeed 구성TrainingArguments
train_micro_batch_size_per_gpuper_device_train_batch_size
gradient_accumulation_stepsgradient_accumulation_steps
optimizer.params.lrlearning_rate
fp16.enabledfp16

config를 deepspeed 인수로 전달합니다.

from transformers import TrainingArguments

args = TrainingArguments(
    deepspeed="path/to/deepspeed_config.json",
    ...
)
# DeepSpeed launcher
deepspeed --num_gpus 4 train.py

# torchrun
torchrun --nproc_per_node 4 train.py

# Accelerate
accelerate launch --num_processes 4 train.py

ZeRO 단계

시작점으로 사용할 ZeRO 단계 구성을 선택합니다.

ZeRO-1
ZeRO-2
ZeRO-3
{
    "bf16": { "enabled": "auto" },
    "zero_optimization": { "stage": 1 },
    "gradient_clipping": "auto",
    "train_micro_batch_size_per_gpu": "auto",
    "train_batch_size": "auto",
    "gradient_accumulation_steps": "auto"
}

다음 필드들은 학습을 커스터마이징하는 데 중요합니다.

  • zero_optimization은 ZeRO 단계를 설정합니다.

    { "zero_optimization": { "stage": 3 } }
  • 배치 크기 및 그라디언트 축적 인수를 "auto"로 설정하세요. 이 값들을 TrainingArguments와 일치하지 않는 값으로 수동으로 설정하면, 잘못된 값으로 학습이 조용히 계속됩니다.

    {
        "train_micro_batch_size_per_gpu": "auto",
        "train_batch_size": "auto",
        "gradient_accumulation_steps": "auto",
        "gradient_clipping": "auto"
    }
  • bf16은 학습 정밀도를 설정합니다. TrainingArguments의 bf16 플래그를 그대로 따르도록 "auto"로 설정하세요.

    { "bf16": { "enabled": "auto" } }
  • stage3_gather_16bit_weights_on_model_save는 저장 전에 모든 GPU에서 all-gather를 수행하여 샤드에서 전체 텐서를 재구성합니다. 이는 ZeRO-3 인자입니다.

    {
        "zero_optimization": {
            "stage": 3,
            "stage3_gather_16bit_weights_on_model_save": true
        }
    }
  • overlap_comm을 true로 설정하면 backward pass 뒤에 all-reduce 지연 시간을 숨길 수 있습니다. allgather_bucket_size와 reduce_bucket_size는 GPU 메모리와 통신 속도 사이의 트레이드오프를 결정합니다. 값이 낮을수록 메모리 사용량은 줄지만 통신 속도는 느려집니다.

    {
        "zero_optimization": {
            "stage": 2,
            "overlap_comm": true,
            "allgather_bucket_size": 2e8,
            "reduce_bucket_size": 2e8,
            "contiguous_gradients": true
        }
    }
  • offload_optimizer는 옵티마이저를 CPU 메모리로 오프로드합니다. 메모리를 더 절약하려면 offload_param을 사용하여 모델 파라미터도 오프로드하세요(ZeRO-3만 지원). CPU-GPU 전송 속도를 높이기 위해 pin_memory를 true로 설정할 수 있지만, 이렇게 하면 다른 프로세스에서 사용할 수 없는 RAM이 고정됩니다.

    {
        "zero_optimization": {
            "stage": 3,
            "offload_optimizer": { "device": "cpu", "pin_memory": true },
            "offload_param":     { "device": "cpu", "pin_memory": true }
        }
    }
  • optimizer와 scheduler의 기본값은 TrainingArguments에 구성된 옵티마이저와 스케줄러입니다. LAMB와 같은 DeepSpeed 네이티브 옵티마이저가 필요하지 않은 한, DeepSpeed가 TrainingArguments에서 값을 읽도록 "auto"로 설정하세요.

    {
        "optimizer": {
            "type": "AdamW",
            "params": { "lr": "auto", "betas": "auto", "eps": "auto", "weight_decay": "auto" }
        },
        "scheduler": {
            "type": "WarmupDecayLR",
            "params": { "total_num_steps": "auto", "warmup_min_lr": "auto", "warmup_max_lr": "auto", "warmup_num_steps": "auto" }
        }
    }

    옵티마이저를 오프로딩하는 경우, DeepSpeed의 CPU Adam 옵티마이저를 사용하려면 zero_force_ds_cpu_optimizer를 false로 설정하세요.

    {
        "zero_force_ds_cpu_optimizer": false
    }

체크포인트

DeepSpeed는 from_pretrained()로 직접 로드할 수 없는 샤드된 형식으로 체크포인트를 저장합니다. 학습이 끝난 후 최상의 체크포인트를 추적하고 다시 로드하도록 하려면 load_best_model_at_end()을 True로 설정하세요.

from transformers import TrainingArguments, Trainer

args = TrainingArguments(
    deepspeed="ds_config_zero3.json",
    load_best_model_at_end=True,
    ...
)
# after training, save a normal transformers checkpoint
trainer.save_model("./best-model")

save_only_model=True를 설정하면 전체 옵티마이저 상태를 저장하지 않으므로, 학습이 끝난 후 최상의 모델을 다시 로드할 수 없습니다. 또한 샤드에서 전체 가중치를 재구성하려면 stage3_gather_16bit_weights_on_model_save: true도 설정해야 합니다. ZeRO-3에서 통합된 16비트 모델 아티팩트 또는 16비트 상태 딕셔너리를 저장하려면 이 설정이 필요합니다. Transformers는 save_only_model=True와 load_best_model_at_end=True가 함께 사용되면 오류를 발생시킵니다.

서로 다른 병렬 구성 간에 재개를 위한 방법은 DeepSpeed의 Universal Checkpointing 가이드를 참고하세요.

다음 단계

Update on GitHub