Accelerate documentation

Intel Gaudi

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Intel Gaudi

사용자는 Intel Gaudi AI 가속기를 활용하여 모델 학습 및 추론을 훨씬 빠르고 비용 효율적으로 수행할 수 있습니다. Intel Gaudi AI 가속기 제품군에는 현재 세 가지 세대 제품이 포함되어 있습니다: Intel Gaudi 1, Intel Gaudi 2, Intel Gaudi 3. 각 서버에는 Habana Processing Units(HPU)로 알려진 8개의 디바이스가 장착되어 있으며, Gaudi 3의 경우 128GB, Gaudi 2의 경우 96GB, 1세대 Gaudi의 경우 32GB의 메모리를 제공합니다. 기본 하드웨어 아키텍처에 대한 자세한 내용은 Gaudi Architecture Overview를 참고하세요.

기본 동작 방식

Intel Gaudi 디바이스가 감지되면 기본적으로 활성화됩니다. 비활성화하려면 accelerate launch 명령에 --cpu 플래그를 전달하거나, accelerate config 설문에서 해당 질문에 답하세요.

다음 스크립트를 직접 실행하여 Intel Gaudi에서 테스트할 수 있습니다:

accelerate launch /examples/cv_example.py --data_dir images

한계

다음 기능들은 Accelerate 라이브러리의 일부가 아니며 Optimum for Intel Gaudi가 필요합니다:

  • fast_ddp는 Torch DDP 래퍼 대신 기울기에 all-reduce를 적용하여 DDP를 구현합니다.
  • minimize_memory는 fp8 학습에 사용되며, forward pass와 backward pass 사이에 fp8 가중치를 메모리에 유지하도록 하여 추가적인 fp8 캐스팅을 대가로 더 작은 메모리 사용량을 제공합니다.
  • Context/Sequence Parallelism(CP/SP)에 사용되며, 네트워크 입력과 activations를 시퀀스 차원별로 분할하여 메모리 사용량을 줄이고 처리량을 높이는 context_parallel_size
Update on GitHub