Accelerate documentation
Checkpointing
시작하기
튜토리얼
가이드
Accelerate
학습
그라디언트 축적Local SGD낮은 정밀도(FP8) 학습DeepSpeedDeepSpeed를 사용하여 여러 모델 사용DDP 통신 훅Fully Sharded Data ParallelMegatron-LMAmazon SageMakerApple M1 GPUIntel CPUIntel Gaudi컴파일
추론
개념 및 기본 사항
Accelerate의 내부 메커니즘메모리에 대형 모델 로드분산 환경 간 성능 비교작업 실행 및 지연Gradient 동기화FSDP과 DeepSpeedFSDP1과 FSDP2컨텍스트 병렬성시퀀스 병렬성저정밀도 학습 방법TPU에서 학습
참고
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v1.16.0).
Checkpointing
Accelerate로 PyTorch 모델을 학습할 때, 학습 상태를 저장하고 이어서 진행하는 경우가 많습니다. 이를 위해서는 모델, 옵티마이저, RNG 생성기, GradScaler를 저장하고 로드해야 합니다. Accelerate에는 이를 빠르게 수행하기 위한 두 가지 편의 함수가 있습니다:
- 위에서 언급한 모든 내용을 폴더 위치에 저장하려면 save_state()를 사용하세요
- 이전에
save_state로 저장된 모든 것을 로드하려면 load_state()를 사용합니다
save_state()를 통해 상태가 저장되는 위치와 방식을 더 자세히 커스터마이즈하려면 ProjectConfiguration 클래스를 사용할 수 있습니다. 예를 들어 automatic_checkpoint_naming이 활성화되어 있으면 각 저장된 체크포인트는 Accelerator.project_dir/checkpoints/checkpoint_{checkpoint_number} 위치에 저장됩니다.
해당 상태가 동일한 학습 스크립트에서 생성된 것이라는 것이 전제이며, 두 개의 서로 다른 스크립트에서 생성된 상태여서는 안 된다는 점에 유의해야 합니다.
state_dict및load_state_dict기능이 있는 객체는 register_for_checkpointing()을 사용하여 두 이전 함수에 의해 자동으로 저장되거나 로드되도록 커스텀 객체를 등록할 수 있습니다. 학습률 스케줄러와 같은 객체가 이에 해당합니다.
아래는 학습 중에 상태를 저장하고 다시 로드하기 위해 checkpointing을 사용하는 간단한 예시입니다:
from accelerate import Accelerator
import torch
accelerator = Accelerator(project_dir="my/save/path")
my_scheduler = torch.optim.lr_scheduler.StepLR(my_optimizer, step_size=1, gamma=0.99)
my_model, my_optimizer, my_training_dataloader = accelerator.prepare(my_model, my_optimizer, my_training_dataloader)
# Register the LR scheduler
accelerator.register_for_checkpointing(my_scheduler)
# Save the starting state
accelerator.save_state()
device = accelerator.device
my_model.to(device)
# Perform training
for epoch in range(num_epochs):
for batch in my_training_dataloader:
my_optimizer.zero_grad()
inputs, targets = batch
inputs = inputs.to(device)
targets = targets.to(device)
outputs = my_model(inputs)
loss = my_loss_function(outputs, targets)
accelerator.backward(loss)
my_optimizer.step()
my_scheduler.step()
# Restore the previous state
accelerator.load_state("my/save/path/checkpointing/checkpoint_0")DataLoader 상태 복원
체크포인트에서 재개한 후, 에포크 중간에 상태가 저장된 경우 활성 DataLoader의 특정 지점부터 재개하는 것이 바람직할 수 있습니다. 이를 위해 skip_first_batches()를 사용할 수 있습니다.
from accelerate import Accelerator
accelerator = Accelerator(project_dir="my/save/path")
train_dataloader = accelerator.prepare(train_dataloader)
accelerator.load_state("my_state")
# Assume the checkpoint was saved 100 steps into the epoch
skipped_dataloader = accelerator.skip_first_batches(train_dataloader, 100)
# After the first iteration, go back to `train_dataloader`
# First epoch
for batch in skipped_dataloader:
# Do something
pass
# Second epoch
for batch in train_dataloader:
# Do something
pass