# MXFP4

참고: MXFP4 양자화는 현재 OpenAI GPT-OSS 120b 및 20b에서만 작동합니다.

MXFP4는 대형 모델의 메모리 요구 사항을 크게 줄이는 4비트 부동 소수점 형식입니다. 대형 모델(GPT-OSS-120B)은 단일 80GB GPU에 수용할 수 있으며, 소형 모델(GPT-OSS-20B)은 16GB의 메모리만 필요합니다. 일반적으로 정밀도가 낮아지면 저하되는 범위와 정확도를 유지하기 위해 블록 단위 스케일링을 사용합니다.

MXPF4를 사용하려면 하드웨어가 다음 요구 사항을 충족하는지 확인하세요.

- Accelerate, kernels, Triton ≥ 3.4를 설치합니다. PyTorch 2.7을 사용하는 경우에만 Triton ≥ 3.4를 수동으로 설치하세요. PyTorch 2.8에서는 이미 지원되므로 수동 설치할 필요가 없습니다.
- Tesla GPU 및 그 이후의 GPU를 포함하여 NVIDIA GPU Compute Capability가 7.5 이상이어야 합니다. [get_device_capability](https://docs.pytorch.org/docs/stable/generated/torch.cuda.get_device_capability.html)를 사용하여 Compute Capability를 확인하세요.

```python
from torch import cuda
cuda.get_device_capability()

# (7, 5)
```

아래와 같이 모델의 양자화 설정을 확인하여 MXFP4를 지원하는지 확인합니다. `'quant_method': 'mxfp4'`인 경우 모델은 자동으로 MXFP4를 사용합니다.

```py
from transformers import GptOssConfig

model_id = "openai/gpt-oss-120b"
cfg = GptOssConfig.from_pretrained(model_id)
print(cfg.quantization_config)

# Example output:
# {
#   'modules_to_not_convert': [
#     'model.layers.*.self_attn',
#     'model.layers.*.mlp.router',
#     'model.embed_tokens',
#     'lm_head'
#   ],
#   'quant_method': 'mxfp4'
# }
```

## MXFP4 커널

Transformers는 해당 커널이 필요한 모델을 로드할 때 커뮤니티 저장소에서 MXFP4 지원 Triton 커널을 자동으로 가져옵니다. 커널은 로컬 캐시에 저장되며 forward pass 동안 사용됩니다.

가용하고 지원되는 경우 기본적으로 MXFP4 커널이 사용되며, 코드 변경이 필요하지 않습니다.

[hf cache scan](https://huggingface.co/docs/huggingface_hub/en/guides/manage-cache#scan-your-cache)을 사용하여 커널이 다운로드되었는지 확인할 수 있습니다.

```shell
hf cache scan
```

```shell
REPO ID                          REPO TYPE SIZE ON DISK
-------------------------------- --------- ------------
kernels-community/triton_kernels model           536.2K
openai/gpt-oss-20b               model            13.8G
```

## 리소스

MXFP4 양자화 및 블록 단위 스케일링 작동 방식에 대해 자세히 알아보려면 이 [블로그 게시물](https://huggingface.co/blog/faster-transformers#mxfp4-quantization)을 참고하세요.

