Accelerate documentation
모델 메모리 추정기
모델 메모리 추정기
현재 사용 중인 장치(CUDA나 XPU에 모델을 로드하는 경우 등)의 메모리에 얼마나 큰 모델이 적합되는지 파악하는 것은, 사용할 잠재적 모델을 탐색할 때 매우 어려운 부분 중 하나입니다.
이를 완화하기 위해 Accelerate에는 accelerate estimate-memory를 통한 CLI 인터페이스가 있습니다. 이 튜토리얼에서는 해당 도구를 사용하는 방법과 예상 결과를 안내하며, 마지막에는 Hub에 호스팅된 인터랙티브 데모로 연결하여 해당 결과를 모델 저장소에 직접 게시할 수 있습니다.
현재 timm 및 transformers에서 사용할 수 있는 모델 검색을 지원합니다.
이 API는 모델을
meta디바이스에 메모리로 로드하므로, 실제로 모델의 전체 가중치를 다운로드하여 메모리에 로드하지 않아도 됩니다. 따라서 CPU가 이를 처리할 수 있는지 걱정하지 않고 80억 개 이상의 매개변수를 가진 모델을 측정할 수 있습니다.
Gradio 데모
아래에는 위에서 설명한 내용과 관련된 몇 가지 gradio 데모가 있습니다. 첫 번째는 Accelerate를 직접 활용하는 Hugging Face 공식 메모리 추정 space입니다:
커뮤니티 멤버가 이 아이디어를 가져와 더 확장하여, GPU 제약 조건과 LoRA 구성을 고려하여 특정 LLM을 실행할 수 있는지 직접 모델을 필터링하고 확인할 수 있도록 했습니다. 직접 사용해 보려면 여기에서 자세한 내용을 확인하세요.
명령
accelerate estimate-memory를 사용할 때는 사용하려는 모델의 이름, 해당 모델이 사용하는 프레임워크(자동으로 감지되지 않는 경우), 그리고 모델을 로드할 때 사용할 데이터 유형을 전달해야 합니다.
예를 들어, bert-base-cased의 메모리 사용량을 계산하는 방법은 다음과 같습니다:
accelerate estimate-memory bert-base-cased
이 명령은 bert-based-cased의 config.json을 다운로드하고, 모델을 meta 디바이스에 로드한 후, 사용할 공간을 보고합니다:
bert-base-cased 로드 시 메모리 사용량:
| dtype | 가장 큰 레이어 | 총 크기 | Adam을 사용한 학습 |
|---|---|---|---|
| float32 | 84.95 MB | 418.18 MB | 1.61 GB |
| float16 | 42.47 MB | 206.59 MB | 826.36 MB |
| int8 | 21.24 MB | 103.29 MB | 413.18 MB |
| int4 | 10.62 MB | 51.65 MB | 206.59 MB |
기본적으로 지원되는 모든 dtype(int4부터 float32까지)를 반환하지만, 특정 dtype에 관심이 있다면 이를 필터링할 수 있습니다.
특정 라이브러리
bert-base-cased와 같이 소스 라이브러리를 자동으로 결정할 수 없는 경우, 라이브러리 이름을 전달할 수 있습니다.
accelerate estimate-memory HuggingFaceM4/idefics-80b-instruct --library_name transformers
HuggingFaceM4/idefics-80b-instruct 로드 시 메모리 사용량:
| dtype | 가장 큰 레이어 | 총 크기 | Adam을 사용한 학습 |
|---|---|---|---|
| float32 | 3.02 GB | 297.12 GB | 1.16 TB |
| float16 | 1.51 GB | 148.56 GB | 594.24 GB |
| int8 | 772.52 MB | 74.28 GB | 297.12 GB |
| int4 | 386.26 MB | 37.14 GB | 148.56 GB |
accelerate estimate-memory timm/resnet50.a1_in1k --library_name timm
timm/resnet50.a1_in1k 로드 시 메모리 사용량:
| dtype | 가장 큰 레이어 | 총 크기 | Adam을 사용한 학습 |
|---|---|---|---|
| float32 | 9.0 MB | 97.7 MB | 390.78 MB |
| float16 | 4.5 MB | 48.85 MB | 195.39 MB |
| int8 | 2.25 MB | 24.42 MB | 97.7 MB |
| int4 | 1.12 MB | 12.21 MB | 48.85 MB |
특정 dtype
앞서 언급했듯이 기본적으로 int4부터 float32까지의 dtype를 반환하지만, float32, float16, int8, int4 중 어떤 dtype도 사용할 수 있습니다.
이를 위해 --dtypes를 지정하고 나면 다음을 전달합니다:
accelerate estimate-memory bert-base-cased --dtypes float32 float16
bert-base-cased 로드 시 메모리 사용량:
| dtype | 가장 큰 레이어 | 총 크기 | Adam을 사용한 학습 |
|---|---|---|---|
| float32 | 84.95 MB | 413.18 MB | 1.61 GB |
| float16 | 42.47 MB | 206.59 MB | 826.36 MB |
이 계산기의 주의사항
이 계산기는 추론을 수행하는 것이 아니라, 단순히 모델을 로드하는 데 필요한 메모리 용량을 알려 줍니다.
이 계산은 실제 값의 몇 % 이내로 정확하므로, 얼마나 많은 메모리가 필요한지 파악하는 데 매우 좋은 지표가 됩니다. 예를 들어 bert-base-cased를 CUDA에서 전체 정밀도로 로드하면 실제로 413.68 MB가 사용되며, 계산기는 413.18 MB를 추정합니다.
추론을 수행할 때 EleutherAI의 연구 결과에 따라 최대 20%까지 추가 오버헤드가 발생할 수 있습니다. 이러한 값에 대한 보다 정확한 추정치를 찾기 위한 연구를 진행 중이며, 완료 후 이 계산기를 업데이트할 예정입니다.
Update on GitHub