Accelerate documentation

분산 환경 간 성능 비교

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

분산 환경 간 성능 비교

…를 모르면 서로 다른 설정의 성능을 평가하고 비교하는 것이 꽤 까다로울 수 있습니다. 예를 들어, Accelerate를 사용하여 TPU, 다중 GPU, 단일 GPU에서 동일한 스크립트를 동일한 배치 크기로 실행한다고 해서 결과가 일치할 것이라고 기대할 수 없습니다.

그렇다면 왜일까요?

이 튜토리얼에서 다루는 이 현상의 원인은 세 가지입니다:

  1. 적절한 시드 설정
  2. 관측된 배치 크기
  3. 학습률

시드 설정

이 문제가 많이 발생하지는 않았지만, 분산 환경에서 학습이 재현 가능하도록 모든 분산 경우에 시드를 완전히 설정하려면 utils.set_seed()를 사용하세요:

from accelerate.utils import set_seed

set_seed(42)

왜 이것이 중요한가요? 내부적으로 5개의 다른 시드 설정을 설정합니다:

    random.seed(seed)
    np.random.seed(seed)
    torch.manual_seed(seed)
    torch.cuda.manual_seed_all(seed) # or torch.xpu.manual_seed_all, etc
    # ^^ safe to call this function even if cuda is not available
    if is_torch_xla_available():
        xm.set_rng_state(seed)

random 상태, numpy의 상태, torch, torch의 device 상태, 그리고 TPU가 사용 가능한 경우 torch_xla의 cuda 상태입니다.

관측된 배치 크기

Accelerate로 학습할 때 dataloader에 전달되는 배치 크기는 GPU당 배치 크기입니다. 즉, GPU 2개에서 배치 크기를 64로 설정하면 실제 배치 크기는 128이 됩니다. 따라서 단일 GPU 또는 TPU에서 테스트할 때 이를 고려해야 합니다.

아래 표는 다양한 배치 크기를 시도할 때 빠른 참고 자료로 사용할 수 있습니다:

Multi-GPU에는 두 개의 GPU가, 8개의 워커를 가진 TPU 팟에는 하나씩 있습니다

단일 GPU 배치 크기멀티-GPU 동등 배치 크기TPU 동등 배치 크기
25612832
1286416
64328
32164

학습률

여러 출처[1][2]에서 언급했듯이, 학습률은 사용 가능한 장치 수에 따라 선형적으로 조정해야 합니다. 아래 스니펫은 Accelerate를 사용하여 이를 수행하는 방법을 보여줍니다:

사용자가 자체 학습률 스케줄러를 정의할 수 있으므로, 학습률을 스케일링할지 여부는 사용자의 판단에 맡깁니다.

learning_rate = 1e-3
accelerator = Accelerator()
learning_rate *= accelerator.num_processes

optimizer = AdamW(params=model.parameters(), lr=learning_rate)

accelerate가 학습 중인 프로세스 수에 따라 학습률을 단계적으로 조정하는 것을 확인할 수 있습니다. 이는 앞서 언급한 관찰된 배치 크기 때문입니다. 따라서 2개의 GPU를 사용하는 경우, 단일 GPU 인스턴스에서 배치 크기를 변경하지 않았다면 배치 크기가 두 배가 되므로 학습률이 단일 GPU 대비 두 배 더 자주 단계적으로 조정됩니다.

Gradient Accumulation and Mixed Precision

그레디언트 누적과 혼합 정밀도를 사용할 때, 그레디언트 평균화 방식(누적)과 정밀도 손실(혼합 정밀도)로 인해 성능이 일부 저하되는 것이 예상됩니다. 이는 서로 다른 컴퓨트 설정 간의 배치별 손실을 비교할 때 명확하게 확인됩니다. 그러나 학습 종료 시점의 전체 손실, 지표 및 전반적인 성능은 대략 동일해야 합니다.

Update on GitHub