Transformers documentation
DeepSpeed ZeRO
DeepSpeed ZeRO
DeepSpeed ZeRO(Zero Redundancy Optimizer)는 옵티마이저 상태, 그래디언트, 매개변수를 GPU에 걸쳐 샤딩하여 분산 학습의 메모리 중복을 제거합니다. ZeRO에는 세 가지 단계가 있으며, 각 단계는 이전 단계보다 더 많은 상태를 샤딩합니다. DeepSpeed는 추가적인 절약을 위해 CPU 또는 NVMe 메모리로의 오프로딩도 지원합니다. 추가되는 각 단계와 오프로드 레벨은 GPU 간 통신이 증가하는 대가로 피크 메모리를 줄입니다.
params grads opt states
┌──────────┐ ┌──────────┐ ┌──────────┐
ZeRO-1 │██████████│ │██████████│ │███░░░░░░░│ GPU 0
│██████████│ │██████████│ │░░░███░░░░│ GPU 1
│██████████│ │██████████│ │░░░░░░████│ GPU 2
└──────────┘ └──────────┘ └──────────┘
┌──────────┐ ┌──────────┐ ┌──────────┐
ZeRO-2 │██████████│ │███░░░░░░░│ │███░░░░░░░│ GPU 0
│██████████│ │░░░███░░░░│ │░░░███░░░░│ GPU 1
│██████████│ │░░░░░░████│ │░░░░░░████│ GPU 2
└──────────┘ └──────────┘ └──────────┘
┌──────────┐ ┌──────────┐ ┌──────────┐
ZeRO-3 │███░░░░░░░│ │███░░░░░░░│ │███░░░░░░░│ GPU 0
│░░░███░░░░│ │░░░███░░░░│ │░░░███░░░░│ GPU 1
│░░░░░░████│ │░░░░░░████│ │░░░░░░████│ GPU 2
└──────────┘ └──────────┘ └──────────┘
█ resident ░ held on another GPUZeRO-2는 ZeRO-3보다 통신 오버헤드가 낮으며, 그라디언트와 옵티마이저 상태를 샤딩합니다. ZeRO-2로 모델이 GPU에 걸쳐 적합하지 않을 경우에만 ZeRO-3를 사용하세요.
설치
PyPI에서 DeepSpeed를 설치하거나, deepspeed extra와 함께 Transformers를 설치하세요.
pip install deepspeed pip install transformers[deepspeed]
CUDA 관련 설치 오류가 발생하면 DeepSpeed CUDA 문서를 확인하세요. 소스에서 설치하는 것이 더 신뢰할 수 있는 옵션입니다. 이는 사용자의 정확한 하드웨어와 일치하며, PyPI 릴리스에는 아직 없는 기능을 포함하기 때문입니다.
구성
Trainer는 deepspeed 인수를 통해 DeepSpeed를 통합하며, 이 인수는 JSON 설정 파일을 받습니다. 또는 TrainingArguments 대신 Accelerate 설정 파일을 사용할 수도 있습니다.
DeepSpeed가 TrainingArguments에서 값을 채우도록 하려면 설정에서 "auto"를 사용하세요. 값을 명시적으로 지정하려면 DeepSpeed 인자와 TrainingArguments 모두에 동일한 값을 사용해야 합니다.
DeepSpeed 설정 옵션의 전체 목록은 DeepSpeed Configuration JSON 참고 문서를 참조하세요.
{
"train_micro_batch_size_per_gpu": "auto",
"gradient_accumulation_steps": "auto",
"optimizer": {
"type": "AdamW",
"params": { "lr": "auto" }
},
"fp16": { "enabled": "auto" }
}| DeepSpeed 구성 | TrainingArguments |
|---|---|
train_micro_batch_size_per_gpu | per_device_train_batch_size |
gradient_accumulation_steps | gradient_accumulation_steps |
optimizer.params.lr | learning_rate |
fp16.enabled | fp16 |
config를 deepspeed 인수로 전달합니다.
from transformers import TrainingArguments
args = TrainingArguments(
deepspeed="path/to/deepspeed_config.json",
...
)# DeepSpeed launcher
deepspeed --num_gpus 4 train.py
# torchrun
torchrun --nproc_per_node 4 train.py
# Accelerate
accelerate launch --num_processes 4 train.pyAccelerate는 TrainingArguments의
deepspeed인수를 무시합니다.
accelerate config 명령을 실행하고 하드웨어 및 학습 환경에 대한 질문에 답하여 캐시에 default_config.yaml 파일을 생성합니다.
distributed_type: DEEPSPEED
deepspeed_config:
deepspeed_config_file: path/to/ds_config.json
machine_rank: 0
num_machines: 1
num_processes: 4Trainer 기반 스크립트로 accelerate launch를 실행합니다.
accelerate launch --config_file deepspeed_config.yaml train.py
ZeRO 단계
시작점으로 사용할 ZeRO 단계 구성을 선택합니다.
{
"bf16": { "enabled": "auto" },
"zero_optimization": { "stage": 1 },
"gradient_clipping": "auto",
"train_micro_batch_size_per_gpu": "auto",
"train_batch_size": "auto",
"gradient_accumulation_steps": "auto"
}{
"bf16": { "enabled": "auto" },
"zero_optimization": {
"stage": 2,
"overlap_comm": true,
"allgather_bucket_size": 2e8,
"reduce_bucket_size": 2e8,
"contiguous_gradients": true
},
"gradient_clipping": "auto",
"train_micro_batch_size_per_gpu": "auto",
"train_batch_size": "auto",
"gradient_accumulation_steps": "auto"
}ZeRO-3은 초기화 시점에 매개변수를 샤딩합니다. 모델을 로드하기 전에 TrainingArguments를 인스턴스화해야 합니다. DeepSpeed가 구성되기 전에 모델이 이미 각 GPU에 로드되어 있으면 메모리가 절약되지 않습니다.
{
"bf16": { "enabled": "auto" },
"zero_optimization": {
"stage": 3,
"overlap_comm": true,
"contiguous_gradients": true,
"reduce_bucket_size": "auto",
"stage3_prefetch_bucket_size": "auto",
"stage3_param_persistence_threshold": "auto",
"stage3_gather_16bit_weights_on_model_save": true,
"offload_optimizer": { "device": "cpu", "pin_memory": true },
"offload_param": { "device": "cpu", "pin_memory": true }
},
"gradient_clipping": "auto",
"train_micro_batch_size_per_gpu": "auto",
"train_batch_size": "auto",
"gradient_accumulation_steps": "auto"
}다음 필드들은 학습을 커스터마이징하는 데 중요합니다.
zero_optimization은 ZeRO 단계를 설정합니다.{ "zero_optimization": { "stage": 3 } }배치 크기 및 그라디언트 축적 인수를
"auto"로 설정하세요. 이 값들을 TrainingArguments와 일치하지 않는 값으로 수동으로 설정하면, 잘못된 값으로 학습이 조용히 계속됩니다.{ "train_micro_batch_size_per_gpu": "auto", "train_batch_size": "auto", "gradient_accumulation_steps": "auto", "gradient_clipping": "auto" }bf16은 학습 정밀도를 설정합니다. TrainingArguments의bf16플래그를 그대로 따르도록"auto"로 설정하세요.{ "bf16": { "enabled": "auto" } }stage3_gather_16bit_weights_on_model_save는 저장 전에 모든 GPU에서 all-gather를 수행하여 샤드에서 전체 텐서를 재구성합니다. 이는 ZeRO-3 인자입니다.{ "zero_optimization": { "stage": 3, "stage3_gather_16bit_weights_on_model_save": true } }overlap_comm을true로 설정하면 backward pass 뒤에 all-reduce 지연 시간을 숨길 수 있습니다.allgather_bucket_size와reduce_bucket_size는 GPU 메모리와 통신 속도 사이의 트레이드오프를 결정합니다. 값이 낮을수록 메모리 사용량은 줄지만 통신 속도는 느려집니다.{ "zero_optimization": { "stage": 2, "overlap_comm": true, "allgather_bucket_size": 2e8, "reduce_bucket_size": 2e8, "contiguous_gradients": true } }offload_optimizer는 옵티마이저를 CPU 메모리로 오프로드합니다. 메모리를 더 절약하려면offload_param을 사용하여 모델 파라미터도 오프로드하세요(ZeRO-3만 지원). CPU-GPU 전송 속도를 높이기 위해pin_memory를true로 설정할 수 있지만, 이렇게 하면 다른 프로세스에서 사용할 수 없는 RAM이 고정됩니다.{ "zero_optimization": { "stage": 3, "offload_optimizer": { "device": "cpu", "pin_memory": true }, "offload_param": { "device": "cpu", "pin_memory": true } } }optimizer와scheduler의 기본값은 TrainingArguments에 구성된 옵티마이저와 스케줄러입니다. LAMB와 같은 DeepSpeed 네이티브 옵티마이저가 필요하지 않은 한, DeepSpeed가 TrainingArguments에서 값을 읽도록"auto"로 설정하세요.{ "optimizer": { "type": "AdamW", "params": { "lr": "auto", "betas": "auto", "eps": "auto", "weight_decay": "auto" } }, "scheduler": { "type": "WarmupDecayLR", "params": { "total_num_steps": "auto", "warmup_min_lr": "auto", "warmup_max_lr": "auto", "warmup_num_steps": "auto" } } }옵티마이저를 오프로딩하는 경우, DeepSpeed의 CPU Adam 옵티마이저를 사용하려면
zero_force_ds_cpu_optimizer를false로 설정하세요.{ "zero_force_ds_cpu_optimizer": false }
체크포인트
DeepSpeed는 from_pretrained()로 직접 로드할 수 없는 샤드된 형식으로 체크포인트를 저장합니다. 학습이 끝난 후 최상의 체크포인트를 추적하고 다시 로드하도록 하려면 load_best_model_at_end()을 True로 설정하세요.
from transformers import TrainingArguments, Trainer
args = TrainingArguments(
deepspeed="ds_config_zero3.json",
load_best_model_at_end=True,
...
)
# after training, save a normal transformers checkpoint
trainer.save_model("./best-model")save_only_model=True를 설정하면 전체 옵티마이저 상태를 저장하지 않으므로, 학습이 끝난 후 최상의 모델을 다시 로드할 수 없습니다. 또한 샤드에서 전체 가중치를 재구성하려면 stage3_gather_16bit_weights_on_model_save: true도 설정해야 합니다. ZeRO-3에서 통합된 16비트 모델 아티팩트 또는 16비트 상태 딕셔너리를 저장하려면 이 설정이 필요합니다. Transformers는 save_only_model=True와 load_best_model_at_end=True가 함께 사용되면 오류를 발생시킵니다.
서로 다른 병렬 구성 간에 재개를 위한 방법은 DeepSpeed의 Universal Checkpointing 가이드를 참고하세요.
다음 단계
- ZeRO의 작동 원리를 자세히 알아보려면 The Ultra-Scale Playbook의 Zero Redundancy Optimizer 장을 읽어보세요.
- ZeRO 논문을 읽어보세요: Memory Optimizations Toward Training Trillion Parameter Models, Democratizing Billion-Scale Model Training, Breaking the GPU Memory Wall for Extreme Scale Deep Learning.