Transformers documentation
Dasar-dasar chat
Dasar-dasar chat
Model chat adalah model percakapan yang dapat Anda kirim pesan dan menerima respons. Sebagian besar model bahasa sejak pertengahan 2023 adalah model chat dan mungkin disebut sebagai model “instruct” atau “instruction-tuned”. Model yang tidak mendukung chat sering disebut sebagai model “base” atau “pretrained”.
Model yang lebih besar dan lebih baru umumnya lebih mumpuni, tetapi model yang dikhususkan untuk domain tertentu (teks medis, teks hukum, bahasa non-Inggris, dll.) sering kali dapat melampaui model-model besar tersebut. Coba gunakan papan peringkat seperti OpenLLM dan LMSys Chatbot Arena untuk membantu Anda mengidentifikasi model terbaik untuk kasus penggunaan Anda.
Panduan ini menunjukkan cara memuat model chat dengan cepat di Transformers dari baris perintah, cara membangun dan memformat percakapan, serta cara berinteraksi menggunakan TextGenerationPipeline.
CLI chat
Setelah Anda memasang Transformers, Anda dapat berinteraksi dengan model langsung dari baris perintah. Perintah di bawah ini memulai sesi interaktif dengan model, dengan beberapa perintah dasar yang tercantum di awal sesi.
Untuk perintah-perintah berikut, pastikan
transformers servesedang berjalan.
transformers chat Qwen/Qwen2.5-0.5B-Instruct

Anda dapat meluncurkan CLI dengan flag generate apa pun, dengan format arg_1=value_1 arg_2=value_2 ...
transformers chat Qwen/Qwen2.5-0.5B-Instruct do_sample=False max_new_tokens=10
Untuk daftar lengkap opsi, jalankan perintah di bawah ini.
transformers chat -h
Chat diimplementasikan di atas AutoClass, menggunakan alat dari text generation dan chat. Di baliknya, chat ini menggunakan CLI transformers serve (docs).
TextGenerationPipeline
TextGenerationPipeline adalah kelas generasi teks tingkat tinggi dengan “mode chat”. Mode chat diaktifkan ketika model percakapan terdeteksi dan prompt chat terformat dengan benar.
Model chat menerima daftar pesan (riwayat chat) sebagai input. Setiap pesan adalah kamus dengan kunci role dan content.
Untuk memulai chat, tambahkan satu pesan user. Anda juga dapat secara opsional menyertakan pesan system untuk memberikan arahan kepada model tentang cara berperilaku.
chat = [
{"role": "system", "content": "You are a helpful science assistant."},
{"role": "user", "content": "Hey, can you explain gravity to me?"}
]Buat TextGenerationPipeline dan berikan chat ke dalamnya. Untuk model besar, mengatur device_map=“auto” membantu memuat model lebih cepat dan secara otomatis menempatnya pada perangkat tercepat yang tersedia.
import torch
from transformers import pipeline
pipeline = pipeline(task="text-generation", model="HuggingFaceTB/SmolLM2-1.7B-Instruct", dtype="auto", device_map="auto")
response = pipeline(chat, max_new_tokens=512)
print(response[0]["generated_text"][-1]["content"])Jika ini berhasil, Anda seharusnya melihat respons dari model! Jika Anda ingin melanjutkan percakapan,
Anda perlu memperbarui riwayat chat dengan respons model. Anda dapat melakukannya dengan menambahkan teks
ke chat (gunakan peran assistant), atau dengan membaca response[0]["generated_text"], yang berisi
riwayat chat lengkap, termasuk respons terbaru.
Setelah Anda memiliki respons model, Anda dapat melanjutkan percakapan dengan menambahkan pesan user baru ke riwayat chat.
chat = response[0]["generated_text"]
chat.append(
{"role": "user", "content": "Woah! But can it be reconciled with quantum mechanics?"}
)
response = pipeline(chat, max_new_tokens=512)
print(response[0]["generated_text"][-1]["content"])Dengan mengulangi proses ini, Anda dapat melanjutkan percakapan selama yang Anda inginkan, setidaknya sampai model kehabisan jendela konteks atau Anda kehabisan memori.
Kinerja dan penggunaan memori
Transformers memuat model dalam presisi float32 penuh secara default, dan untuk model 8B, ini membutuhkan ~32GB memori! Gunakan argumen torch_dtype="auto", yang umumnya menggunakan bfloat16 untuk model yang dilatih dengannya, untuk mengurangi penggunaan memori Anda.
Lihat dokumentasi Quantization untuk informasi lebih lanjut tentang berbagai backend kuantisasi yang tersedia.
Untuk menurunkan penggunaan memori lebih jauh, Anda dapat mengkuantisasi model ke 8-bit atau 4-bit dengan bitsandbytes. Buat BitsAndBytesConfig dengan pengaturan kuantisasi yang diinginkan dan teruskan ke parameter model_kwargs dari pipelines. Contoh di bawah ini mengkuantisasi model ke 8-bit.
from transformers import pipeline, BitsAndBytesConfig
quantization_config = BitsAndBytesConfig(load_in_8bit=True)
pipeline = pipeline(task="text-generation", model="meta-llama/Meta-Llama-3-8B-Instruct", device_map="auto", model_kwargs={"quantization_config": quantization_config})Secara umum, ukuran model dan kinerjanya berkorelasi langsung. Model yang lebih besar lebih lambat dan juga membutuhkan lebih banyak memori karena setiap parameter aktif harus dibaca dari memori untuk setiap token yang dihasilkan. Ini merupakan hambatan utama dalam generasi teks LLM, dan opsi utama untuk meningkatkan kecepatan generasi adalah dengan melakukan kuantisasi model atau menggunakan perangkat keras dengan bandwidth memori yang lebih tinggi. Menambah daya komputasi tidak memberikan bantuan yang berarti.
Anda juga dapat mencoba teknik seperti speculative decoding, di mana model yang lebih kecil menghasilkan token kandidat yang kemudian diverifikasi oleh model yang lebih besar. Jika token kandidat tersebut benar, model yang lebih besar dapat menghasilkan lebih dari satu token sekaligus. Hal ini secara signifikan mengurangi bottleneck bandwidth dan meningkatkan kecepatan generasi.
Update on GitHubModel Mixture-of-Expert (MoE) seperti Mixtral, Qwen2MoE, dan GPT-OSS memiliki banyak parameter, tetapi hanya “mengaktifkan” sebagian kecil dari parameter tersebut untuk menghasilkan setiap token. Akibatnya, model MoE umumnya memiliki kebutuhan bandwidth memori yang jauh lebih rendah dan dapat lebih cepat daripada LLM biasa dengan ukuran yang sama. Namun, teknik seperti speculative decoding tidak efektif pada model MoE karena semakin banyak parameter yang diaktifkan seiring dengan setiap token spekulatif baru.