TRL documentation

Integrasi Unsloth

You are viewing v1.18.1 version. A newer version v1.18.2 is available.
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Integrasi Unsloth

Unsloth adalah kerangka kerja sumber terbuka untuk penyesuaian halus (fine-tuning) dan pembelajaran penguatan yang melatih LLM (seperti Llama, OpenAI gpt-oss, Mistral, Gemma, DeepSeek, dan lainnya) hingga 2× lebih cepat dengan pengurangan VRAM hingga 80%. Unsloth memungkinkan pelatihan, evaluasi, eksekusi, dan penyelenggaraan dengan mesin inferensi lain seperti llama.cpp, Ollama, dan vLLM.

Perpustakaan ini menyediakan alur kerja yang ringkas dan kompatibel dengan Hugging Face untuk pelatihan, evaluasi, inferensi, dan deployment, serta sepenuhnya kompatibel dengan SFTTrainer.

Fitur Utama

  • Dukungan pelatihan untuk semua model yang kompatibel dengan transformer: Text-to-speech (TTS), multimodal, BERT, RL, dan lainnya
  • Mendukung fine-tuning penuh, pretraining, LoRA, QLoRA, pelatihan 8-bit & lainnya
  • Berjalan di Linux, Windows, Colab, Kaggle; GPU NVIDIA, segera mendukung setup AMD & Intel
  • Mendukung sebagian besar fitur yang didukung TRL, termasuk RLHF (GSPO, GRPO, DPO, dll.)
  • Kernel Triton yang ditulis manual dan mesin backprop manual memastikan tidak ada degradasi akurasi (0% error aproksimasi)

Instalasi

pip install

Instalasi Lokal (Linux disarankan):

pip install unsloth

Anda juga dapat menginstal unsloth sesuai dengan dokumentasi resmi. Setelah terinstal, Anda dapat mengintegrasikan unsloth ke dalam alur kerja Anda dengan cara yang sangat sederhana; alih-alih memuat AutoModelForCausalLM, Anda hanya perlu memuat FastLanguageModel sebagai berikut:

import torch
from trl import SFTConfig, SFTTrainer
from unsloth import FastLanguageModel

max_length = 2048 # Supports automatic RoPE Scaling, so choose any number

# Load model
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="unsloth/mistral-7b",
    max_seq_length=max_length,
    dtype="auto",  # For auto-detection. Float16 for Tesla T4, V100, Bfloat16 for Ampere+
    load_in_4bit=True,  # Use 4bit quantization to reduce memory usage. Can be False
)

# Do model patching and add fast LoRA weights
model = FastLanguageModel.get_peft_model(
    model,
    r=16,
    target_modules=[
        "q_proj",
        "k_proj",
        "v_proj",
        "o_proj",
        "gate_proj",
        "up_proj",
        "down_proj",
    ],
    lora_alpha=16,
    lora_dropout=0,  # Dropout = 0 is currently optimized
    bias="none",  # Bias = "none" is currently optimized
    use_gradient_checkpointing=True,
    random_state=3407,
)

training_args = SFTConfig(output_dir="./output", max_length=max_length)

trainer = SFTTrainer(
    model=model,
    args=training_args,
    train_dataset=dataset,
)
trainer.train()

Model yang disimpan sepenuhnya kompatibel dengan pustaka transformers dari Hugging Face. Pelajari lebih lanjut tentang unsloth di repositori resmi mereka.

Instalasi Docker

docker run -d -e JUPYTER_PASSWORD="mypassword" \
  -p 8888:8888 -p 2222:22 \
  -v $(pwd)/work:/workspace/work \
  --gpus all \
  unsloth/unsloth

Akses Jupyter Lab di http://localhost:8888 dan mulai fine-tuning!

Pelatihan

Berikut adalah beberapa pengaturan inti yang dapat Anda ubah sebelum pelatihan:

  • max_seq_length = 2048 – Mengontrol panjang konteks. Meskipun Llama-3 mendukung 8192, kami merekomendasikan 2048 untuk pengujian. Unsloth memungkinkan fine-tuning konteks 4× lebih panjang.
  • dtype = "auto" – Untuk deteksi otomatis; gunakan torch.float16 atau torch.bfloat16 untuk GPU yang lebih baru.
  • load_in_4bit = True – Mengaktifkan kuantisasi 4-bit, mengurangi penggunaan memori 4× untuk fine-tuning. Menonaktifkannya memungkinkan fine-tuning LoRA 16-bit untuk diaktifkan.
  • Untuk mengaktifkan fine-tuning penuh (FFT), atur full_finetuning = True. Untuk fine-tuning 8-bit, atur load_in_8bit = True. Catatan: Hanya satu metode pelatihan yang dapat diaktifkan (diatur ke True) pada satu waktu.

Untuk informasi lebih lanjut tentang konfigurasi hiperparameter dan fitur Unsloth, baca panduan dokumentasi mereka di sini.

Menyimpan model

Unsloth memungkinkan Anda menyimpan model yang telah dilatih ulang secara langsung sebagai file kecil yang disebut adapter LoRA. Anda juga dapat mengirimkannya ke Hugging Face hub jika ingin mengunggah model Anda! Ingatlah untuk mendapatkan token Hugging Face dan menambahkan token Anda!

Menyimpan ke GGUF

Untuk menyimpan ke GGUF, Unsloth menggunakan llama.cpp. Untuk menyimpan secara lokal:

model.save_pretrained_gguf("directory", tokenizer, quantization_method = "q4_k_m")
model.save_pretrained_gguf("directory", tokenizer, quantization_method = "q8_0")
model.save_pretrained_gguf("directory", tokenizer, quantization_method = "f16")

Untuk mendorong ke hub:

model.push_to_hub_gguf("hf_username/directory", tokenizer, quantization_method = "q4_k_m")
model.push_to_hub_gguf("hf_username/directory", tokenizer, quantization_method = "q8_0")

Menyimpan ke vLLM

Untuk menyimpan ke 16-bit untuk vLLM, gunakan:

model.save_pretrained_merged("model", tokenizer, save_method = "merged_16bit",)
model.push_to_hub_merged("hf/model", tokenizer, save_method = "merged_16bit", token = "")
Update on GitHub