# 모델 메모리 추정기

현재 사용 중인 장치(CUDA나 XPU에 모델을 로드하는 경우 등)의 메모리에 얼마나 큰 모델이 *적합*되는지 파악하는 것은, 사용할 잠재적 모델을 탐색할 때 매우 어려운 부분 중 하나입니다.

이를 완화하기 위해 Accelerate에는 `accelerate estimate-memory`를 통한 CLI 인터페이스가 있습니다. 이 튜토리얼에서는 해당 도구의 사용 방법과 예상 결과를 안내하며, 마지막에는 Hub에 호스팅된 인터랙티브 데모로 연결하여 해당 결과를 모델 저장소에 직접 게시할 수 있습니다.

현재 `timm` 및 `transformers`에서 사용할 수 있는 모델 검색을 지원합니다.

    이 API는 모델을 `meta` 디바이스에 메모리로 로드하므로, 실제로 모델의 전체 가중치를 다운로드하여 메모리에 로드하지 않으며 그럴 필요도 없습니다. 그 결과 CPU가 이를 처리할 수 있는지 걱정하지 않고 80억 개 이상의 매개변수를 가진 모델을 측정할 수 있습니다.

## Gradio 데모

아래에는 위에서 설명한 내용과 관련된 몇 가지 gradio 데모가 있습니다. 첫 번째는 Accelerate를 직접 활용하는 Hugging Face 공식 메모리 추정 space입니다:

	<iframe src="https://hf-accelerate-model-memory-usage.hf.space?__theme=light" width="850" height="1600"
    >

    <iframe src="https://hf-accelerate-model-memory-usage.hf.space?__theme=dark" width="850" height="1600"
    >

커뮤니티 멤버가 이 아이디어를 가져와 더 확장하여, GPU 제약 조건과 LoRA 구성을 고려하여 특정 LLM을 실행할 수 있는지 직접 모델을 필터링하고 확인할 수 있도록 했습니다. 직접 사용해 보려면 [여기](https://huggingface.co/spaces/Vokturz/can-it-run-llm)에서 자세한 내용을 확인하세요.

## 명령

`accelerate estimate-memory`를 사용할 때는 사용하려는 모델의 이름, 해당 모델이 사용하는 프레임워크(자동으로 감지되지 않는 경우), 그리고 모델을 로드할 때 사용할 데이터 유형을 전달해야 합니다.

예를 들어, `bert-base-cased`의 메모리 사용량을 계산하는 방법은 다음과 같습니다:

```bash
accelerate estimate-memory bert-base-cased
```

이 명령은 `bert-based-cased`의 `config.json`을 다운로드하고, 모델을 `meta` 디바이스에 로드한 후, 사용할 공간 크기를 보고합니다:

`bert-base-cased` 로드 시 메모리 사용량:

| dtype   | 가장 큰 레이어 | 총 크기 | Adam을 사용한 학습 |
|---------|---------------|------------|---------------------|
| float32 | 84.95 MB      | 418.18 MB  | 1.61 GB             |
| float16 | 42.47 MB      | 206.59 MB  | 826.36 MB           |
| int8    | 21.24 MB      | 103.29 MB  | 413.18 MB           |
| int4    | 10.62 MB      | 51.65 MB   | 206.59 MB           |

기본적으로 지원되는 모든 dtype(`int4`부터 `float32`까지)를 반환하지만, 특정 dtype에 관심이 있다면 이를 필터링할 수 있습니다.

### 특정 라이브러리

`bert-base-cased`와 같이 소스 라이브러리를 자동으로 결정할 수 없는 경우, 라이브러리 이름을 전달할 수 있습니다.

```bash
accelerate estimate-memory HuggingFaceM4/idefics-80b-instruct --library_name transformers
```

`HuggingFaceM4/idefics-80b-instruct` 로드 시 메모리 사용량:

| dtype   | 가장 큰 레이어 | 총 크기 | Adam을 사용한 학습 |
|---------|---------------|------------|---------------------|
| float32 | 3.02 GB       | 297.12 GB  | 1.16 TB             |
| float16 | 1.51 GB       | 148.56 GB  | 594.24 GB           |
| int8    | 772.52 MB     | 74.28 GB   | 297.12 GB           |
| int4    | 386.26 MB     | 37.14 GB   | 148.56 GB           |

```bash
accelerate estimate-memory timm/resnet50.a1_in1k --library_name timm
```

`timm/resnet50.a1_in1k` 로드 시 메모리 사용량:

| dtype   | 가장 큰 레이어 | 총 크기 | Adam을 사용한 학습 |
|---------|---------------|------------|---------------------|
| float32 | 9.0 MB        | 97.7 MB    | 390.78 MB           |
| float16 | 4.5 MB        | 48.85 MB   | 195.39 MB           |
| int8    | 2.25 MB       | 24.42 MB   | 97.7 MB             |
| int4    | 1.12 MB       | 12.21 MB   | 48.85 MB            |

### 특정 dtype

앞서 언급했듯이 기본적으로 `int4`부터 `float32`까지의 dtype를 반환하지만, `float32`, `float16`, `int8`, `int4` 중 어떤 dtype도 사용할 수 있습니다.

이를 위해 `--dtypes`를 지정하고 나면 다음을 전달합니다:

```bash
accelerate estimate-memory bert-base-cased --dtypes float32 float16
```

`bert-base-cased` 로드 시 메모리 사용량:

| dtype   | 가장 큰 레이어 | 총 크기 | Adam을 사용한 학습 |
|---------|---------------|------------|---------------------|
| float32 | 84.95 MB      | 413.18 MB  | 1.61 GB             |
| float16 | 42.47 MB      | 206.59 MB  | 826.36 MB           |

## 이 계산기의 주의사항

이 계산기는 추론을 수행하는 것이 아니라, *단순히* 모델을 로드하는 데 필요한 메모리 용량을 알려 줍니다.

이 계산은 실제 값의 몇 % 이내로 정확하므로, 얼마나 많은 메모리가 필요한지 파악하는 데 매우 좋은 지표가 됩니다. 예를 들어 `bert-base-cased`를 CUDA에서 전체 정밀도로 로드하면 실제로 `413.68 MB`가 사용되며, 계산기는 `413.18 MB`를 추정합니다.

추론을 수행할 때 [EleutherAI](https://blog.eleuther.ai/transformer-math/)의 연구 결과에 따라 최대 20%까지 추가 오버헤드가 발생할 수 있습니다. 이러한 값에 대한 보다 정확한 추정치를 찾기 위한 연구를 진행 중이며, 완료 후 이 계산기를 업데이트할 예정입니다.

