Accelerate documentation

모델 메모리 추정기

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

모델 메모리 추정기

현재 사용 중인 장치(CUDA나 XPU에 모델을 로드하는 경우 등)의 메모리에 얼마나 큰 모델이 적합되는지 파악하는 것은, 사용할 잠재적 모델을 탐색할 때 매우 어려운 부분 중 하나입니다.

이를 완화하기 위해 Accelerate에는 accelerate estimate-memory를 통한 CLI 인터페이스가 있습니다. 이 튜토리얼에서는 해당 도구를 사용하는 방법과 예상 결과를 안내하며, 마지막에는 Hub에 호스팅된 인터랙티브 데모로 연결하여 해당 결과를 모델 저장소에 직접 게시할 수 있습니다.

현재 timm 및 transformers에서 사용할 수 있는 모델 검색을 지원합니다.

이 API는 모델을 meta 디바이스에 메모리로 로드하므로, 실제로 모델의 전체 가중치를 다운로드하여 메모리에 로드하지 않아도 됩니다. 따라서 CPU가 이를 처리할 수 있는지 걱정하지 않고 80억 개 이상의 매개변수를 가진 모델을 측정할 수 있습니다.

Gradio 데모

아래에는 위에서 설명한 내용과 관련된 몇 가지 gradio 데모가 있습니다. 첫 번째는 Accelerate를 직접 활용하는 Hugging Face 공식 메모리 추정 space입니다:

커뮤니티 멤버가 이 아이디어를 가져와 더 확장하여, GPU 제약 조건과 LoRA 구성을 고려하여 특정 LLM을 실행할 수 있는지 직접 모델을 필터링하고 확인할 수 있도록 했습니다. 직접 사용해 보려면 여기에서 자세한 내용을 확인하세요.

명령

accelerate estimate-memory를 사용할 때는 사용하려는 모델의 이름, 해당 모델이 사용하는 프레임워크(자동으로 감지되지 않는 경우), 그리고 모델을 로드할 때 사용할 데이터 유형을 전달해야 합니다.

예를 들어, bert-base-cased의 메모리 사용량을 계산하는 방법은 다음과 같습니다:

accelerate estimate-memory bert-base-cased

이 명령은 bert-based-cased의 config.json을 다운로드하고, 모델을 meta 디바이스에 로드한 후, 사용할 공간을 보고합니다:

bert-base-cased 로드 시 메모리 사용량:

dtype가장 큰 레이어총 크기Adam을 사용한 학습
float3284.95 MB418.18 MB1.61 GB
float1642.47 MB206.59 MB826.36 MB
int821.24 MB103.29 MB413.18 MB
int410.62 MB51.65 MB206.59 MB

기본적으로 지원되는 모든 dtype(int4부터 float32까지)를 반환하지만, 특정 dtype에 관심이 있다면 이를 필터링할 수 있습니다.

특정 라이브러리

bert-base-cased와 같이 소스 라이브러리를 자동으로 결정할 수 없는 경우, 라이브러리 이름을 전달할 수 있습니다.

accelerate estimate-memory HuggingFaceM4/idefics-80b-instruct --library_name transformers

HuggingFaceM4/idefics-80b-instruct 로드 시 메모리 사용량:

dtype가장 큰 레이어총 크기Adam을 사용한 학습
float323.02 GB297.12 GB1.16 TB
float161.51 GB148.56 GB594.24 GB
int8772.52 MB74.28 GB297.12 GB
int4386.26 MB37.14 GB148.56 GB
accelerate estimate-memory timm/resnet50.a1_in1k --library_name timm

timm/resnet50.a1_in1k 로드 시 메모리 사용량:

dtype가장 큰 레이어총 크기Adam을 사용한 학습
float329.0 MB97.7 MB390.78 MB
float164.5 MB48.85 MB195.39 MB
int82.25 MB24.42 MB97.7 MB
int41.12 MB12.21 MB48.85 MB

특정 dtype

앞서 언급했듯이 기본적으로 int4부터 float32까지의 dtype를 반환하지만, float32, float16, int8, int4 중 어떤 dtype도 사용할 수 있습니다.

이를 위해 --dtypes를 지정하고 나면 다음을 전달합니다:

accelerate estimate-memory bert-base-cased --dtypes float32 float16

bert-base-cased 로드 시 메모리 사용량:

dtype가장 큰 레이어총 크기Adam을 사용한 학습
float3284.95 MB413.18 MB1.61 GB
float1642.47 MB206.59 MB826.36 MB

이 계산기의 주의사항

이 계산기는 추론을 수행하는 것이 아니라, 단순히 모델을 로드하는 데 필요한 메모리 용량을 알려 줍니다.

이 계산은 실제 값의 몇 % 이내로 정확하므로, 얼마나 많은 메모리가 필요한지 파악하는 데 매우 좋은 지표가 됩니다. 예를 들어 bert-base-cased를 CUDA에서 전체 정밀도로 로드하면 실제로 413.68 MB가 사용되며, 계산기는 413.18 MB를 추정합니다.

추론을 수행할 때 EleutherAI의 연구 결과에 따라 최대 20%까지 추가 오버헤드가 발생할 수 있습니다. 이러한 값에 대한 보다 정확한 추정치를 찾기 위한 연구를 진행 중이며, 완료 후 이 계산기를 업데이트할 예정입니다.

Update on GitHub