Accelerate documentation
코드에 Accelerate 추가
코드에 Accelerate 추가
각 분산 학습 프레임워크에는 고유한 방식이 있어, 이를 PyTorch 학습 코드와 학습 환경에 맞게 적용하려면 상당한 양의 커스텀 코드를 작성해야 할 수 있습니다. Accelerate는 각 프레임워크의 구체적인 세부 사항을 학습하지 않아도 되는 친숙한 방식으로 이러한 분산 학습 프레임워크와 상호작용할 수 있는 방법을 제공합니다. Accelerate가 이러한 세부 사항을 처리해 주므로, 학습 코드에 집중하여 이를 어떤 분산 학습 환경으로든 확장할 수 있습니다.
이 튜토리얼에서는 기존 PyTorch 코드를 Accelerate에 맞게 조정하는 방법을 배우고, 분산 시스템에서 손쉽게 학습을 시작하는 방법을 안내합니다. 기본적인 PyTorch 학습 루프(model와 optimizer와 같은 모든 학습 객체가 이미 설정되어 있다고 가정합니다)에서 시작하여 Accelerate를 점진적으로 통합해 보겠습니다.
device = "cuda"
model.to(device)
for batch in training_dataloader:
optimizer.zero_grad()
inputs, targets = batch
inputs = inputs.to(device)
targets = targets.to(device)
outputs = model(inputs)
loss = loss_function(outputs, targets)
loss.backward()
optimizer.step()
scheduler.step()가속기
Accelerator는 코드를 Accelerate와 함께 작동하도록 적응시키는 데 사용되는 주요 클래스입니다. 이 클래스는 사용 중인 분산 설정, 예를 들어 서로 다른 프로세스의 수와 하드웨어 유형에 대한 정보를 알고 있습니다. 또한 이 클래스는 PyTorch 코드가 모든 분산 학습 환경에서 작동할 수 있도록 하는 데 필요한 다양한 메서드에 대한 접근성을 제공하며, 디바이스 간 프로세스를 관리하고 실행하는 기능을 제공합니다.
그래서 스크립트에서 항상 Accelerator 인스턴스를 가져오고 생성하는 것부터 시작해야 합니다.
from accelerate import Accelerator
accelerator = Accelerator()Accelerator는 PyTorch 객체를 어떤 장치로 이동해야 하는지도 알고 있으므로, 이 작업을 Accelerate에 위임하는 것이 권장됩니다.
- device = "cuda"
+ device = accelerator.device
model.to(device)PyTorch 객체 준비
다음으로, 분산 학습을 위해 PyTorch 객체(모델, 옵티마이저, 스케줄러 등)를 준비해야 합니다. prepare() 메서드는 학습 환경에 맞게 모델을 적절한 컨테이너(단일 GPU 또는 다중 GPU 등)에 배치하고, 옵티마이저와 스케줄러를 Accelerate의 AcceleratedOptimizer 및 AcceleratedScheduler를 사용하도록 조정하며, 프로세스 간에 샤딩할 수 있는 새로운 데이터로더를 생성합니다.
Accelerate는
torch.optim.Optimizer와 같은 각 PyTorch 클래스를 상속하는 객체만 준비합니다.
PyTorch 객체는 전송된 순서와 동일한 순서로 반환됩니다.
model, optimizer, training_dataloader, scheduler = accelerator.prepare(
model, optimizer, training_dataloader, scheduler
)학습 루프
마지막으로, Accelerate의 DataLoader 클래스가 자동으로 입력과 타깃을 올바른 장치에 배치하므로 학습 루프에서 입력과 타깃에 대한 to(device) 호출을 제거해야 합니다. 또한, 일반적인 backward() 패스 대신 Accelerate의 backward() 메서드를 사용해야 합니다. 이 메서드는 그래디언트를 자동으로 스케일링하고, 분산 설정(예: DeepSpeed 또는 Megatron)에 따라 적절한 backward() 메서드를 사용합니다.
- inputs = inputs.to(device)
- targets = targets.to(device)
outputs = model(inputs)
loss = loss_function(outputs, targets)
- loss.backward()
+ accelerator.backward(loss)모든 것을 조합하면 새로운 Accelerate 학습 루프는 다음과 같이 보일 것입니다!
from accelerate import Accelerator
accelerator = Accelerator()
device = accelerator.device
model, optimizer, training_dataloader, scheduler = accelerator.prepare(
model, optimizer, training_dataloader, scheduler
)
for batch in training_dataloader:
optimizer.zero_grad()
inputs, targets = batch
outputs = model(inputs)
loss = loss_function(outputs, targets)
accelerator.backward(loss)
optimizer.step()
scheduler.step()학습 기능
Accelerate는 학습 실행을 개선하기 위해 스크립트에 추가할 수 있는 gradient accumulation, gradient clipping, mixed precision training 등 다양한 추가 기능을 제공합니다. 이 세 가지 기능을 살펴보겠습니다.
Gradient accumulation
Gradient accumulation은 가중치를 업데이트하기 전에 여러 배치에 걸쳐 그래디언트를 누적하여 더 큰 배치 크기로 학습할 수 있게 합니다. 이는 메모리 제한을 우회하는 데 유용할 수 있습니다. Accelerate에서 이 기능을 활성화하려면 Accelerator 클래스에서 gradient_accumulation_steps 매개변수를 지정하고 스크립트에 accumulate() 컨텍스트 매니저를 추가하세요.
+ accelerator = Accelerator(gradient_accumulation_steps=2)
model, optimizer, training_dataloader = accelerator.prepare(model, optimizer, training_dataloader)
for input, label in training_dataloader:
+ with accelerator.accumulate(model):
predictions = model(input)
loss = loss_function(predictions, label)
accelerator.backward(loss)
optimizer.step()
scheduler.step()
optimizer.zero_grad()Gradient clipping
Gradient clipping은 “폭주하는 그래디언트(exploding gradients)”를 방지하기 위한 기법이며, Accelerate는 다음을 제공합니다:
- clipgrad_value()를 사용하여 그라디언트를 최소값과 최대값으로 클리핑
- clipgrad_norm() for normalizing gradients to a certain value
혼합 정밀도
Mixed precision은 fp16(반정밀도)과 같은 낮은 정밀도의 데이터 타입을 사용하여 기울기를 계산함으로써 학습을 가속화합니다. Accelerate에서 최고의 성능을 얻으려면 손실이 모델 내부에서 계산되어야 합니다(Transformers 모델과 같이). 모델 외부에서 수행되는 계산은 전체 정밀도로 수행되기 때문입니다.
Accelerator에서 사용할 혼합 정밀도 유형을 설정한 다음, autocast() 컨텍스트 매니저를 사용하여 값을 지정된 데이터 유형으로 자동으로 캐스팅합니다.
Accelerate는 자동 혼합 정밀도를 지원하므로, backward()가 이미 스케일링을 처리하는 손실(loss)에 대한 연산 외의 다른 혼합 정밀도 연산이 있는 경우에만 autocast()가 필요합니다.
+ accelerator = Accelerator(mixed_precision="fp16")
+ with accelerator.autocast():
loss = complex_loss_function(outputs, target)저장 및 로드
Accelerate는 학습이 완료된 후 모델을 저장하고 로드할 수 있으며, 학습을 재개하는 데 유용할 수 있는 모델과 옵티마이저의 상태를 저장하는 것도 가능합니다.
모델
모든 프로세스가 완료되면, prepare() 메서드가 분산 학습에 적합한 인터페이스로 모델을 감쌌기 때문에 저장하기 전에 unwrap_model() 메서드로 모델을 언래핑해야 합니다. 모델을 언래핑하지 않으면 모델 상태 사전에 저장할 때 더 큰 모델의 잠재적인 추가 레이어도 함께 저장되어 기본 모델에 가중치를 다시 로드할 수 없게 됩니다.
모델 상태 딕셔너리를 언래핑하여 저장하려면 save_model() 메서드를 사용해야 합니다. 이 메서드는 모델을 샤드된 체크포인트로 저장하거나 safetensors 형식으로 저장하는 데에도 사용할 수 있습니다.
accelerator.wait_for_everyone() accelerator.save_model(model, save_directory)
Transformers 라이브러리의 모델은 from_pretrained 메서드로 다시 로드할 수 있도록 save_pretrained 메서드를 사용하여 모델을 저장합니다.
from transformers import AutoModel unwrapped_model = accelerator.unwrap_model(model) unwrapped_model.save_pretrained( "path/to/my_model_directory", is_main_process=accelerator.is_main_process, save_function=accelerator.save, ) model = AutoModel.from_pretrained("path/to/my_model_directory")
가중치를 로드하려면, 먼저 unwrap_model() 메서드를 사용하여 모델을 언래핑한 다음 가중치를 로드해야 합니다. 모든 모델 파라미터는 텐서에 대한 참조이므로, 이 과정은 model 내부에 가중치를 로드합니다.
unwrapped_model = accelerator.unwrap_model(model)
path_to_checkpoint = os.path.join(save_directory,"pytorch_model.bin")
unwrapped_model.load_state_dict(torch.load(path_to_checkpoint))safe_serialization=True를 설정하여 모델을 safetensor 형식으로 저장합니다.
accelerator.wait_for_everyone()
accelerator.save_model(model, save_directory, max_shard_size="1GB", safe_serialization=True)load_checkpoint_in_model() 메서드를 사용하여 샤드된 체크포인트 또는 safetensor 형식의 체크포인트를 로드할 수 있습니다. 이 메서드를 사용하면 특정 디바이스에 체크포인트를 로드할 수 있습니다.
load_checkpoint_in_model(unwrapped_model, save_directory, device_map={"":device})상태
학습 중에는 모델, 옵티마이저, 랜덤 생성기, 그리고 학습률 스케줄러의 현재 상태를 저장해 두었다가 같은 스크립트에서 복원할 수 있도록 하고 싶을 수 있습니다. 상태를 저장하고 로드하기 위해 스크립트에 save_state()와 load_state() 메서드를 추가해야 합니다.
save_state()를 통해 상태가 저장되는 위치와 방식을 더 자세히 커스터마이즈하려면 ProjectConfiguration 클래스를 사용하세요. 예를 들어, automatic_checkpoint_naming이 활성화되어 있으면 각 저장된 체크포인트는 Accelerator.project_dir/checkpoints/checkpoint_{checkpoint_number}에 저장됩니다.
저장할 다른 상태ful 항목은 register_for_checkpointing() 메서드에 등록하여 저장 및 로드할 수 있도록 해야 합니다. 이 메서드에 전달되어 저장될 모든 객체는 load_state_dict 및 state_dict 함수를 가져야 합니다.
Update on GitHub
torchdata>=0.8.0이 설치되어 있다면, DataLoaderConfiguration에use_stateful_dataloader=True를 추가로 전달할 수 있습니다. 이를 통해 Accelerate의 DataLoader 클래스에load_state_dict와state_dict함수가 확장되며,Accelerator.save_state와Accelerator.load_state가 모델을 영속화할 때 학습 데이터셋을 얼마나 읽었는지도 추적합니다.