Accelerate documentation
Intel Gaudi
시작하기
튜토리얼
가이드
Accelerate
학습
그라디언트 축적Local SGD낮은 정밀도(FP8) 학습DeepSpeedDeepSpeed를 사용하여 여러 모델 사용DDP 통신 훅Fully Sharded Data ParallelMegatron-LMAmazon SageMakerApple M1 GPUIntel CPUIntel Gaudi컴파일
추론
개념 및 기본 사항
Accelerate의 내부 메커니즘메모리에 대형 모델 로드분산 환경 간 성능 비교작업 실행 및 지연Gradient 동기화FSDP과 DeepSpeedFSDP1과 FSDP2컨텍스트 병렬성시퀀스 병렬성저정밀도 학습 방법TPU에서 학습
참고
Intel Gaudi
사용자는 Intel Gaudi AI 가속기를 활용하여 모델 학습 및 추론을 훨씬 빠르고 비용 효율적으로 수행할 수 있습니다. Intel Gaudi AI 가속기 제품군에는 현재 세 가지 세대 제품이 포함되어 있습니다: Intel Gaudi 1, Intel Gaudi 2, Intel Gaudi 3. 각 서버에는 Habana Processing Units(HPU)로 알려진 8개의 디바이스가 장착되어 있으며, Gaudi 3의 경우 128GB, Gaudi 2의 경우 96GB, 1세대 Gaudi의 경우 32GB의 메모리를 제공합니다. 기본 하드웨어 아키텍처에 대한 자세한 내용은 Gaudi Architecture Overview를 참고하세요.
기본 동작 방식
Intel Gaudi 디바이스가 감지되면 기본적으로 활성화됩니다.
비활성화하려면 accelerate launch 명령에 --cpu 플래그를 전달하거나, accelerate config 설문에서 해당 질문에 답하세요.
다음 스크립트를 직접 실행하여 Intel Gaudi에서 테스트할 수 있습니다:
accelerate launch /examples/cv_example.py --data_dir images
한계
다음 기능들은 Accelerate 라이브러리의 일부가 아니며 Optimum for Intel Gaudi가 필요합니다:
fast_ddp는 Torch DDP 래퍼 대신 기울기에 all-reduce를 적용하여 DDP를 구현합니다.minimize_memory는 fp8 학습에 사용되며, forward pass와 backward pass 사이에 fp8 가중치를 메모리에 유지하도록 하여 추가적인 fp8 캐스팅을 대가로 더 작은 메모리 사용량을 제공합니다.- Context/Sequence Parallelism(CP/SP)에 사용되며, 네트워크 입력과 activations를 시퀀스 차원별로 분할하여 메모리 사용량을 줄이고 처리량을 높이는
context_parallel_size