PEFT documentation
torch.compile
torch.compile
Di PEFT, torch.compile berfungsi untuk beberapa fitur, tetapi tidak untuk semua. Alasannya adalah PEFT sangat dinamis di beberapa bagian (misalnya, memuat dan beralih antar beberapa adapter), yang dapat menyebabkan masalah bagi torch.compile. Di bagian lain, torch.compile mungkin berfungsi, tetapi tidak akan secepat yang diharapkan karena adanya graph breaks.
Jika Anda tidak melihat error, itu tidak berarti torch.compile bekerja dengan benar. Mungkin Anda mendapatkan output, tetapi output tersebut salah. Panduan ini menjelaskan apa yang berfungsi dengan torch.compile dan apa yang tidak. Untuk pengujian Anda sendiri, kami merekomendasikan menggunakan versi PyTorch terbaru, karena torch.compile terus ditingkatkan.
Kecuali dinyatakan lain, pengaturan
torch.compiledefault digunakan.
Pelatihan dan inferensi dengan torch.compile
Fitur-fitur ini berfungsi dengan torch.compile. Semua yang tercantum di bawah ini telah diuji dengan LM kausal:
- Pelatihan dengan
Trainerdari 🤗 transformers - Pelatihan dengan loop PyTorch kustom
- Inferensi
- Generasi
Adaptor berikut berhasil diuji:
- AdaLoRA
- BOFT
- IA³
- Penyetelan Layer Norm
- LoHa
- LoKr
- LoRA
- LoRA + DoRA
- LoRA yang diterapkan pada lapisan embedding
- OFT
- VeRA
- HRA
Fitur PEFT lanjutan dengan torch.compile
Berikut adalah beberapa fitur PEFT yang lebih lanjut yang berfungsi. Semua fitur tersebut telah diuji dengan LoRA.
modules_to_save(i.e.config = LoraConfig(..., modules_to_save=...))- Menggabungkan adapter (satu atau beberapa)
- Menggabungkan beberapa adapter menjadi satu adapter (yaitu memanggil
model.add_weighted_adapter(...)) - Menggunakan adapter PEFT dengan kuantisasi (bitsandbytes)
- Menonaktifkan adapter (yaitu menggunakan
with model.disable_adapter()) - Melepas (yaitu memanggil
model.merge_and_unload()) - Batch adapter campuran (yaitu memanggil
model(batch, adapter_names=["__base__", "default", "other", ...])) - Inferensi dengan beberapa adapter (yaitu menggunakan
model.add_adapterataumodel.load_adapteruntuk memuat lebih dari 1 adapter); untuk ini, hanya panggiltorch.compilesetelah semua adapter dimuat
Secara umum, kita dapat mengharapkan bahwa jika suatu fitur berfungsi dengan benar dengan LoRA dan juga didukung oleh tipe adapter lainnya, maka fitur tersebut seharusnya juga berfungsi untuk tipe adapter tersebut.
Kasus uji
Semua kasus penggunaan yang tercantum di atas diuji di dalam peft/tests/test_torch_compile.py. Jika Anda ingin memeriksa secara lebih detail bagaimana kami menguji fitur tertentu, silakan buka file tersebut dan lihat pengujian yang sesuai dengan kasus penggunaan Anda.
Update on GitHubJika Anda memiliki kasus penggunaan lain di mana Anda tahu bahwa
torch.compilebekerja atau tidak bekerja dengan PEFT, silakan berkontribusi dengan memberi tahu kami atau dengan membuka PR untuk menambahkan kasus penggunaan ini ke dalam kasus uji yang dicakup.