# Metode pelatihan presisi rendah

Rilis jenis hardware baru mendorong munculnya paradigma pelatihan baru yang lebih optimal dalam memanfaatkannya. Saat ini, hal ini terwujud dalam bentuk pelatihan dengan presisi 8-bit menggunakan paket seperti [TransformersEngine](https://github.com/NVIDIA/TransformerEngine) (TE) atau [torchao](https://github.com/pytorch/ao) (PyTorch FP8 native).

Sebagai pengantar untuk topik yang dibahas hari ini, kami merekomendasikan untuk meninjau [panduan penggunaan presisi rendah](../usage_guides/low_precision_training) karena dokumentasi ini akan sering merujuknya.

## Grafik Singkat

Berikut adalah grafik singkat yang menunjukkan presisi bit yang berbeda untuk setiap solusi selama pelatihan:

Tingkat Optimasi | Perhitungan (GEMM) | Kom | Bobot | Bobot Master | Gradien Bobot | Status Optimizer -- | -- | -- | -- | -- | -- | -- FP16 AMP | FP16 | FP32 | FP32 | N/A | FP32 | FP32+FP32 Nvidia TE | FP8 | FP32 | FP32 | N/A | FP32 | FP32+FP32

## `TransformersEngine`

`TransformersEngine` adalah solusi pertama yang mencoba melatih model dalam format floating point 8-bit. Solusi ini bekerja dengan menggunakan lapisan pengganti langsung untuk lapisan tertentu dalam model, yang memanfaatkan mesin FP8-nya untuk mengurangi jumlah bit (misalnya dari 32 menjadi 8) tanpa menurunkan akurasi akhir model.

Secara spesifik, Accelerate akan menemukan dan mengganti lapisan-lapisan berikut dengan versi `TransformersEngine`:

* `nn.LayerNorm` menjadi `te.LayerNorm`
* `nn.Linear` menjadi `te.Linear`

Akibatnya, kami mendapatkan model yang sebagian besar lapisannya dalam BF16, sementara beberapa lapisannya dalam FP8 sehingga mengurangi sebagian memori.

Secara anekdotal, kami mengamati bahwa peningkatan kinerja baru mulai terlihat saat menggunakan `TransformerEngine` ketika sebagian besar lapisan dalam model terdiri dari dua jenis lapisan tersebut yang akan diganti. Akibatnya, hanya model-model besar yang menunjukkan peningkatan kinerja, yaitu ketika jumlah parameternya berada di kisaran beberapa miliar atau lebih.

`TransformerEngine` dapat menerima banyak argumen berbeda yang menyesuaikan cara ia melakukan perhitungan FP8 dan apa yang dilakukan oleh perhitungan tersebut. Daftar lengkap argumen tersedia di bawah ini:

* `margin`: Margin yang digunakan untuk penskalaan gradien.
* `interval`: Interval yang digunakan untuk menentukan seberapa sering faktor penskalaan dihitung ulang.
* `fp8_format``: The format to use for the FP8 recipe. Must be one of `HYBRID` or `E4M3`. (Generally `HYBRID` for training, `E4M3` for evaluation)
* `amax_history_len`: Panjang riwayat yang digunakan untuk perhitungan faktor penskalaan
* `amax_compute_algo`: Algoritma yang digunakan untuk perhitungan faktor penskalaan. Harus berupa salah satu dari `max` atau `most_recent`.
* `override_linear_precision`: Apakah akan mengeksekusi GEMM `fprop`, `dgrad`, dan `wgrad` dalam presisi yang lebih tinggi.

Anda dapat menyesuaikan masing-masing dari ini sebagai bagian dari [utils.TERecipeKwargs](/docs/accelerate/v1.16.0/id/package_reference/fp8#accelerate.utils.TERecipeKwargs) untuk membantu mengoptimalkan kinerja model Anda.

Jika kita perhatikan pada grafik yang disebutkan sebelumnya, TE hanya mengonversi lapisan komputasi ke FP8, sementara semuanya lainnya berada dalam FP32. Akibatnya, pendekatan ini menggunakan memori paling banyak, tetapi memberikan keuntungan berupa jaminan kehilangan akurasi akhir selama pelatihan yang paling sedikit.

