Accelerate documentation

저정밀도 학습 방법

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v1.16.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

저정밀도 학습 방법

Accelerate는 TransformersEngine 및 torchao 패키지를 통해 지정된 지원 하드웨어를 사용하여 낮은 정밀도 방식으로 학습할 수 있는 통합 기능을 제공합니다. 이 문서에서는 어떤 하드웨어가 지원되는지, Accelerator를 어떻게 구성해야 낮은 정밀도 방식을 활용할 수 있는지, 그리고 학습 시 어떤 결과를 기대할 수 있는지를 안내합니다.

FP8에서 학습하는 것의 의미

PyTorch와 Accelerate를 사용하여 FP8로 학습하는 세부 사항을 더 자세히 살펴보고 싶다면, 이것이 왜 어려운지 설명하는 concept_guide를 확인해 보세요. 기본적으로 BF16으로 학습하는 대신, 모델 학습의 일부(또는 전체) 측면을 16비트 대신 8비트로 수행할 수 있습니다. 여기서의 과제는 최종 성능이 저하되지 않도록 하는 것입니다.

이 기능은 특정 NVIDIA 하드웨어, 즉 다음 하드웨어에서만 활성화됩니다:

  • 3000 시리즈 소비자용 그래픽 카드 이후의 제품(예: 4090)
  • Hopper 기반 GPU 아키텍처(예: H100, H200)

이로 인해 일부 학습 단계에서 필요한 메모리가 절반으로 줄어듦에 따라 사용 메모리가 감소하고, 특정 레이어를 FP8 지원 레이어로 대체할 수 있는 더 큰 모델의 경우에도 처리량이 증가하는 것이 확인될 것입니다.

가속기 구성

현재 FP8에 대해 두 가지의 능동적으로 유지 관리되는 백엔드(TransformersEngine 및 torchao)가 지원되며, 각각 다른 기능과 구성을 제공합니다.

둘 중 어느 것을 사용하더라도 동일한 핵심 API를 사용합니다. accelerate config 실행 시 혼합 정밀도에 대해 질문을 받으면 mixed_precision="fp8"를 Accelerator에 전달하거나, config.yaml 파일의 mixed_precision 키로 지정하세요:

from accelerate import Accelerator
accelerator = Accelerator(mixed_precision="fp8")

백엔드를 지정하고(그리고 FP8 혼합 정밀도 설정의 다른 부분을 사용자 정의하려면) utils.AORecipeKwargs 또는 utils.TERecipeKwargs와 같은 RecipeKwargs 데이터 클래스 중 하나를 활용할 수 있습니다. 또한 설정 yaml에서 또는 accelerate launch 시점에 이를 명확히 할 수도 있습니다. 새로운 프로젝트에는 TransformersEngine 또는 torchao 사용을 권장합니다:

from accelerate import Accelerator
from accelerate.utils import TERecipeKwargs, AORecipeKwargs
# Use TransformersEngine
kwargs = [TERecipeKwargs()]
# Or to use torchao
# kwargs = [AORecipeKwargs()]
accelerator = Accelerator(mixed_precision="fp8", kwarg_handlers=kwargs)
mixed_precision: fp8
fp8_config:
  amax_compute_algo: max
  amax_history_len: 1024
  backend: TE
  fp8_format: HYBRID
  interval: 1
  margin: 0
  override_linear_precision: (false, false, false)
  use_autocast_during_eval: false

TransformersEngine 구성

TransformersEngine에는 FP8 계산의 수행 방식과 대상에 대한 다양한 커스터마이징 옵션이 있습니다. 지원되는 인수의 전체 목록과 그 의미는 NVIDIA의 문서에서 확인할 수 있으며, 편의를 위해 FP8KwargsHandler의 docstring에도 다시 명시되어 있습니다.

Accelerate는 합리적인 기본값을 설정하도록 노력하지만, 다양한 매개변수를 직접 탐색하고 조정하면 잠재적으로 더 나은 성능을 얻을 수 있습니다.

사용하려면 backend="te"를 지정하고 kwarg 핸들러의 일부로 원하는 인수를 수정합니다:

from accelerate import Accelerator
from accelerate.utils import TERecipeKwargs
kwargs = [TERecipeKwargs(...)]
accelerator = Accelerator(mixed_precision="fp8", kwargs_handlers=kwargs)

또는 --fp8_backend=te ...를 통해 accelerate launch 실행 시 사용할 수 있습니다. 관련 인수를 확인하려면 accelerate launch --fp8_backend=te -h를 사용하세요.

마찬가지로 config.yaml에서 이를 설정할 수 있습니다:

mixed_precision: fp8
fp8_config:
    amax_compute_algo: max
    amax_history_len: 1024
    backend: TE
    fp8_format: HYBRID
    interval: 1
    margin: 0
    override_linear_precision: (false, false, false)
    use_autocast_during_eval: false

torchao 구성

torchao는 PyTorch 기반의 해킹 가능한 FP8 백엔드로, 이전 두 엔진보다 접근하기 쉽도록 설계되었습니다. ao의 이전 두 엔진과 비교했을 때 핵심 차이점 중 하나는 수치적 안정성을 위해 모델의 첫 번째 및 마지막 레이어를 일반 정밀도(FP32 또는 BF16)로 유지하고, 나머지 레이어만 FP8로 양자화하는 것이 일반적으로 더 좋다는 점입니다. 따라서 ao의 설정은 다음과 같이 약간 다르게 보입니다:

참고: 이 API는 실험적이며 변경될 수 있습니다

from accelerate import Accelerator
from accelerate.utils import AORecipeKwargs, TorchDynamoPlugin, FullyShardedDataParallelPlugin
from torchao.float8 import Float8LinearConfig

fsdp2_plugin = FullyShardedDataParallelPlugin(
  fsdp_version=2,
  cpu_ram_efficient_loading=False, # CPU RAM efficient loading CANNOT work with fp8 torchao
  fsdp_auto_wrap_policy="TRANSFORMER_BASED_WRAP",
)
dynamo_plugin = TorchDynamoPlugin(
  backend="inductor",
  use_regional_compilation=True,
)
fp8_config = Float8LinearConfig(
  enable_fsdp_float8_all_gather=True, # Use FP8 all_gather in FSDP2
  pad_inner_dim=True,
)
kwargs = [AORecipeKwargs(
  config=fp8_config
)]
accelerator = Accelerator(
  mixed_precision="fp8",
  fsdp_plugin=fsdp2_plugin,
  dynamo_plugin=dynamo_plugin,
  kwarg_handlers=kwargs,
)

또는 --fp8_backend=ao ...를 통해 accelerate launch 실행 시 사용할 수 있습니다. 관련 인수를 확인하려면 accelerate launch --fp8_backend=ao -h를 사용하세요.

마찬가지로, config.yaml에서 이를 설정할 수 있습니다:

mixed_precision: fp8
fsdp_config:
  fsdp_auto_wrap_policy: TRANSFORMER_BASED_WRAP
  fsdp_cpu_ram_efficient_loading: false
  fsdp_version: 2
fp8_config:
  backend: AO
  pad_inner_dim: true
  enable_fsdp_float8_all_gather: true
dynamo_config:
  dynamo_backend: INDUCTOR
  dynamo_use_regional_compilation: true

구체적으로 사용할 매개변수에 대해 자세히 알아보려면 공식 torchao 저장소를 참고하세요.

예제 Zoo

accelerate 레포지토리에서 accelerate와 그 기반 구현을 모두 사용하여 FP8로 학습하는 예제를 제공합니다. 현재 다음을 보여주는 스크립트를 지원합니다:

  • 단일 GPU
  • 분산 데이터 병렬성(멀티-GPU)
  • Fully Sharded Data Parallelism
  • DeepSpeed ZeRO 1~3

자세한 내용은 여기에서 확인하세요.

추가 자료

FP8으로 학습하는 방법에 대해 자세히 알아보려면 다음 리소스를 확인하세요:

Update on GitHub