Accelerate documentation
Fully Sharded Data Parallel
Fully Sharded Data Parallel
더 큰 배치 크기로 거대한 모델의 학습을 가속화하려면 완전 샤딩 데이터 병렬(Fully Sharded Data Parallel) 모델을 사용할 수 있습니다. 이 유형의 데이터 병렬 패러다임은 옵티마이저 상태, 그래디언트 및 매개변수를 샤딩하여 더 많은 데이터와 더 큰 모델을 처리할 수 있게 합니다. 이와 관련된 자세한 내용과 이점을 확인하려면 Fully Sharded Data Parallel 블로그를 참고하세요. 최신 PyTorch의 Fully Sharded Data Parallel(FSDP) 학습 기능을 통합했습니다. 설정에서 이를 활성화하기만 하면 됩니다.
기본 동작 방식
컴퓨터에서 다음을 실행하세요:
accelerate config
그리고 질문한 항목에 답합니다. 이렇게 하면 설정 파일이 생성되며, doing을 수행할 때 기본 옵션을 올바르게 설정하는 데 자동으로 사용됩니다.
accelerate launch my_script.py --args_to_my_script
예를 들어, 저장소 루트에서 FSDP를 활성화하여 examples/nlp_example.py를 실행하는 방법은 다음과 같습니다:
compute_environment: LOCAL_MACHINE
debug: false
distributed_type: FSDP
downcast_bf16: 'no'
fsdp_config:
fsdp_auto_wrap_policy: TRANSFORMER_BASED_WRAP
fsdp_backward_prefetch_policy: BACKWARD_PRE
fsdp_forward_prefetch: false
fsdp_cpu_ram_efficient_loading: true
fsdp_offload_params: false
fsdp_sharding_strategy: FULL_SHARD
fsdp_state_dict_type: SHARDED_STATE_DICT
fsdp_sync_module_states: true
fsdp_transformer_layer_cls_to_wrap: BertLayer
fsdp_use_orig_params: true
machine_rank: 0
main_training_function: main
mixed_precision: bf16
num_machines: 1
num_processes: 2
rdzv_backend: static
same_network: true
tpu_env: []
tpu_use_cluster: false
tpu_use_sudo: false
use_cpu: falseaccelerate launch examples/nlp_example.py
현재 Accelerate는 CLI를 통해 다음 구성을 지원합니다:
fsdp_sharding_strategy: [1] FULL_SHARD (옵티마이저 상태, 그래디언트 및 파라미터를 샤딩), [2] SHARD_GRAD_OP (옵티마이저 상태와 그래디언트를 샤딩), [3] NO_SHARD (DDP), [4] HYBRID_SHARD (각 노드 내에서 옵티마이저 상태, 그래디언트 및 파라미터를 샤딩하되 각 노드가 전체 복사본을 보유), [5] HYBRID_SHARD_ZERO2 (각 노드 내에서 옵티마이저 상태와 그래디언트를 샤딩하되 각 노드가 전체 복사본을 보유). 자세한 내용은 공식 PyTorch 문서를 참고하세요.
fsdp_offload_params : 매개변수와 기울기를 CPU로 오프로드할지 여부를 결정합니다
fsdp_auto_wrap_policy: [1] TRANSFORMER_BASED_WRAP, [2] SIZE_BASED_WRAP, [3] NO_WRAP
fsdp_transformer_layer_cls_to_wrap: Transformers에만 적용됩니다. fsdp_auto_wrap_policy=TRANSFORMER_BASED_WRAP을 사용할 때, 래핑할 transformer 레이어 클래스 이름(대소문자 구분)을 쉼표로 구분된 문자열로 제공할 수 있습니다. 예를 들어 BertLayer, GPTJBlock, T5Block, BertLayer,BertEmbeddings,BertSelfOutput와 같습니다. 이는 가중치를 공유하는 서브모듈(예: 임베딩 레이어)이 서로 다른 FSDP 래핑 유닛에 포함되지 않도록 하는 것이 중요하기 때문입니다. 이 정책을 사용하면 Multi-Head Attention을 포함하고 그 뒤에 몇 개의 MLP 레이어가 있는 각 블록에 대해 래핑이 수행됩니다. 공유 임베딩을 포함한 나머지 레이어는 편리하게 가장 바깥쪽 FSDP 유닛에 함께 래핑됩니다. 따라서 transformer 기반 모델에 이 정책을 사용하십시오. Do you want to use the model's_no_split_modulesto wrap. It will try to usemodel._no_split_modules` when possible.에 yes라고 답하여 Transformer 모델의 model._no_split_modules를 사용할 수 있습니다.
fsdp_min_num_params: fsdp_auto_wrap_policy=SIZE_BASED_WRAP를 사용할 때의 최소 파라미터 수.
fsdp_backward_prefetch_policy: [1] BACKWARD_PRE, [2] BACKWARD_POST, [3] NO_PREFETCH
fsdp_forward_prefetch: True인 경우, FSDP는 forward pass 실행 중에 다음 all-gather를 명시적으로 미리 가져옵니다(prefetch). prefetching은 첫 번째 반복의 실행 순서를 따르기 때문에 정적 그래프 모델에서만 사용해야 합니다. 즉, 모델 실행 중에 서브 모듈의 순서가 동적으로 변경되는 경우 이 기능을 활성화하지 마세요.
fsdp_state_dict_type: [1] FULL_STATE_DICT, [2] LOCAL_STATE_DICT, [3] SHARDED_STATE_DICT
fsdp_use_orig_params: True인 경우, 초기화 시 requires_grad가 균일하지 않은 것을 허용하여, 동결된 파라미터와 학습 가능한 파라미터가 섞여 있는 구성을 지원합니다. 이 설정은 이 게시물에서 논의된 파라미터 효율적 파인튜닝과 같은 경우에 유용합니다. 이 옵션은 또한 여러 옵티마이저 파라미터 그룹을 가질 수 있도록 합니다. FSDP로 모델을 준비/래핑하기 전에 옵티마이저를 생성할 때 이 값은 True여야 합니다.
fsdp_cpu_ram_efficient_loading: Transformers 모델에만 적용됩니다. True인 경우, 첫 번째 프로세스만 사전 학습된 모델 체크포인트를 로드하고 모든 다른 프로세스는 빈 가중치를 가집니다. from_pretrained 메서드를 통해 사전 학습된 Transformers 모델을 로드할 때 오류가 발생하면 이 값을 False로 설정해야 합니다. 이 설정이 True인 경우 fsdp_sync_module_states도 True여야 하며, 그렇지 않으면 메인 프로세스를 제외한 모든 프로세스가 무작위 가중치를 가지게 되어 학습 중에 예상치 못한 동작이 발생합니다. 이를 위해 Transformers from_pretrained 메서드를 호출하기 전에 분산 프로세스 그룹이 초기화되었는지 확인하십시오. Trainer API를 사용하는 경우, TrainingArguments 클래스의 인스턴스를 생성할 때 분산 프로세스 그룹이 초기화됩니다.
fsdp_sync_module_states: True인 경우, 개별적으로 래핑된 각 FSDP 유닛이 rank 0에서 모듈 매개변수를 브로드캐스트합니다.
추가적이고 더 세밀한 제어를 위해 FullyShardedDataParallelPlugin를 통해 다른 FSDP 매개변수를 지정할 수 있습니다.
FullyShardedDataParallelPlugin 객체를 생성할 때, accelerate 설정에 포함되지 않았거나 오버라이드하려는 매개변수를 전달하세요.
FSDP 매개변수는 accelerate 설정 파일 또는 실행 명령 인자에 따라 선택되며, FullyShardedDataParallelPlugin 객체를 통해 직접 전달하는 다른 매개변수는 해당 값을 설정하거나 오버라이드합니다.
다음은 예시입니다:
from accelerate import FullyShardedDataParallelPlugin
from torch.distributed.fsdp.fully_sharded_data_parallel import FullOptimStateDictConfig, FullStateDictConfig
fsdp_plugin = FullyShardedDataParallelPlugin(
state_dict_config=FullStateDictConfig(offload_to_cpu=False, rank0_only=False),
optim_state_dict_config=FullOptimStateDictConfig(offload_to_cpu=False, rank0_only=False),
)
accelerator = Accelerator(fsdp_plugin=fsdp_plugin)저장 및 로드
FSDP 모델을 사용할 때 체크포인트를 저장하는 새로운 권장 방법은 accelerate 설정을 구성할 때 StateDictType으로 SHARDED_STATE_DICT를 사용하는 것입니다.
아래는 accelerate의 save_state 유틸리티를 사용하여 저장하는 코드 스니펫입니다.
accelerator.save_state("ckpt")checkpoint 폴더를 검사하여 프로세스별 샤드로 저장된 모델과 옵티마이저를 확인합니다:
ls ckpt
# optimizer_0 pytorch_model_0 random_states_0.pkl random_states_1.pkl scheduler.bin
cd ckpt
ls optimizer_0
# __0_0.distcp __1_0.distcp
ls pytorch_model_0
# __0_0.distcp __1_0.distcp학습을 재개하기 위해 이를 다시 로드하려면 accelerate의 load_state 유틸리티를 사용하세요.
accelerator.load_state("ckpt")transformers의 save_pretrained를 사용할 때 모델 상태 딕셔너리를 저장하려면 state_dict=accelerator.get_state_dict(model)을 전달하세요.
아래는 예시입니다:
unwrapped_model.save_pretrained(
args.output_dir,
is_main_process=accelerator.is_main_process,
save_function=accelerator.save,
+ state_dict=accelerator.get_state_dict(model),
)State Dict
accelerator.get_state_dict은 FullStateDictConfig(offload_to_cpu=True, rank0_only=True) 컨텍스트 매니저를 사용하여 model.state_dict 구현을 호출하며, rank 0에 대한 state dict만 가져오고 이를 CPU로 오프로드합니다.
이후 state를 save_pretrained 메서드에 전달할 수 있습니다. state_dict의 동작을 제어하기 위해 StateDictType와 FullStateDictConfig에는 여러 모드가 있습니다. 자세한 내용은 PyTorch 문서를 참고하세요.
StateDictType.SHARDED_STATE_DICT를 선택하면, Accelerator.save_state 실행 시 모델의 가중치는 모델의 각 서브 스플릿별로 n개의 파일로 나뉩니다. 학습 후 나중에 모델에 다시 로드하기 위해 이들을 단일 딕셔너리로 병합하려면 merge_weights 유틸리티를 사용할 수 있습니다:
from accelerate.utils import merge_fsdp_weights
# Our weights are saved usually in a `pytorch_model_fsdp_{model_number}` folder
merge_fsdp_weights("pytorch_model_fsdp_0", "output_path", safe_serialization=True)최종 출력은 model.safetensors 또는 pytorch_model.bin(safe_serialization=False가 전달된 경우)로 저장됩니다.
이것은 CLI를 사용하여 호출할 수도 있습니다:
accelerate merge-weights pytorch_model_fsdp_0/ output_path
FSDP 샤딩 전략과 DeepSpeed ZeRO 스테이지 간의 매핑
FULL_SHARD은 DeepSpeed의ZeRO Stage-3에 해당합니다. 옵티마이저 상태, 그래디언트 및 매개변수를 샤딩합니다.SHARD_GRAD_OP은 DeepSpeed의ZeRO Stage-2에 해당합니다. 옵티마이저 상태와 그래디언트를 샤딩합니다.NO_SHARD은ZeRO Stage-0에 매핑됩니다. 샤딩이 없으며 각 GPU에는 모델, 옵티마이저 상태 및 그래디언트의 전체 사본이 있습니다.HYBRID_SHARD은zero_hpz_partition_size=<num_gpus_per_node>인ZeRO++ Stage-3에 매핑됩니다. 여기서 각 노드 내에서 옵티마이저 상태, 그래디언트 및 파라미터가 샤딩되고 각 노드는 전체 복사본을 보유합니다.
주의해야 할 몇 가지 사항
- 여러 모델을 사용하는 경우,
accelerator.save_state()와accelerator.load_state()가 잘못된/예상치 못한 동작을 일으키지 않도록, prepare 호출에 옵티마이저를 해당 모델과 동일한 순서로 전달해야 합니다. - 이 기능은
Transformers라이브러리의run_translation.py스크립트에서--predict_with_generate와 호환되지 않습니다.
더 세밀한 제어가 필요한 경우, 사용자는 FullyShardedDataParallelPlugin을 활용할 수 있습니다. 이 클래스의 인스턴스를 생성한 후, Accelerator 클래스 인스턴스화 시 전달하면 됩니다.
이러한 옵션에 대한 자세한 내용은 PyTorch FullyShardedDataParallel 코드를 참고하세요.
Update on GitHubFSDP와 DeepSpeed의 유사점과 차이점에 관심이 있으시다면, 여기의 개념 가이드를 확인해 보세요!