PEFT documentation
Llama-Adapter
Llama-Adapter

Llama-Adapter adalah metode PEFT yang dirancang khusus untuk mengubah Llama menjadi model yang mengikuti instruksi. Model Llama dibekukan dan hanya seperangkat prompt adaptasi yang diawalkan pada token instruksi input yang dipelajari. Karena modul yang diinisialisasi secara acak dan disisipkan ke dalam model dapat menyebabkan model kehilangan sebagian pengetahuan yang sudah ada, Llama-Adapter menggunakan perhatian yang diinisialisasi nol dengan gating nol untuk secara bertahap menambahkan prompt instruksional ke dalam model.
Abstrak dari makalah tersebut adalah:
Kami memperkenalkan LLaMA-Adapter, sebuah metode adaptasi ringan untuk melakukan fine-tuning LLaMA secara efisien menjadi model yang mengikuti instruksi. Menggunakan 52K demonstrasi self-instruct, LLaMA-Adapter hanya memperkenalkan 1,2 juta parameter yang dapat dipelajari pada model LLaMA 7B yang dibekukan, dan membutuhkan waktu kurang dari satu jam untuk fine-tuning pada 8 GPU A100. Secara spesifik, kami mengadopsi seperangkat prompt adaptasi yang dapat dipelajari, dan menempatkannya di depan token teks input pada lapisan transformer yang lebih tinggi. Kemudian, mekanisme perhatian zero-init dengan gerbang nol diusulkan, yang secara adaptif menyuntikkan petunjuk instruksional baru ke dalam LLaMA, sambil secara efektif mempertahankan pengetahuan pra-pelajarannya. Dengan pelatihan yang efisien, LLaMA-Adapter menghasilkan respons berkualitas tinggi, yang sebanding dengan Alpaca dengan 7B parameter yang sepenuhnya di-fine-tune. Selain itu, pendekatan kami dapat dengan mudah diperluas ke input multi-modal, misalnya gambar, untuk LLaMA yang dikondisikan oleh gambar, yang mencapai kapasitas penalaran yang unggul pada ScienceQA. Kami merilis kode kami di https://github.com/ZrrSkywalker/LLaMA-Adapter.
Kapan menggunakan Llama-Adapter
Llama-Adapter adalah pilihan yang tepat ketika:
- Anda menginginkan checkpoint yang sangat kecil. Hanya prompt adaptasi dan gerbangnya yang dilatih dan disimpan, yang setara dengan
adapter_layers * (adapter_len * hidden_size + 1)parameter. - Anda sedang melakukan penyetelan instruksi pada model yang didukung (Llama, Mistral, atau GPT-2), yaitu kasus penggunaan yang menjadi fokus makalah tersebut.
- Anda ingin menyimpan beberapa adapter khusus tugas untuk model dasar yang sama dan berpindah di antara mereka dengan
set_adapter.
Kapan tidak menggunakan Llama-Adapter
Llama-Adapter mungkin bukan pilihan terbaik ketika:
- Model Anda bukan model Llama, Mistral, atau GPT-2. Arsitektur lain akan memicu
ValueError. Pertimbangkan untuk menggunakan LoRA sebagai gantinya. - Anda membutuhkan overhead inferensi nol. Adapter tidak dapat digabungkan ke dalam bobot dasar (
merge_and_unload()tidak didukung), sehingga setiap lapisan yang diadaptasi memperhatikanadapter_lentoken tambahan pada saat inferensi. - Anda ingin beberapa adapter aktif secara bersamaan. Hanya satu adapter yang dapat aktif, dan adaption prompt tidak dapat ditumpuk pada modul perhatian yang sama.
Ikhtisar benchmark
API
AdaptionPromptConfig
kelas peft.AdaptionPromptConfig
< source >( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falsetarget_modules: str = Noneadapter_len: int = Noneadapter_layers: int = None )
Menyimpan konfigurasi dari AdaptionPromptModel.
AdaptionPromptModel
Menerapkan prompt adaptasi seperti yang dijelaskan dalam https://huggingface.co/papers/2303.16199.
Modul L perhatian teratas diganti dengan modul AdaptedAttention yang membungkus modul aslinya, tetapi menyisipkan prompt yang dapat dilatih dengan gerbang (untuk inisialisasi nol).
Catatan tentang pola multi-adapter:
- Kami menyimpan state dari adapter yang berbeda dengan mempertahankan kamus modul AdaptedAttention yang diindeks berdasarkan nama adapter.
- Setiap kali kita mengganti adapter, kita menghapus modul dari adapter yang sedang aktif dari model, menyimpannya ke dalam kamus, dan menggantinya dengan modul dari adapter baru.
- Untuk menghindari duplikasi dan potensi inkonsistensi state, adapter yang sedang aktif selalu dihapus dari dictionary.
- Menonaktifkan adapter juga akan menyebabkan modul dihapus dari model.
Tambahkan adapter dengan nama dan konfigurasi yang diberikan.
Hapus adapter dengan nama yang diberikan.
Nonaktifkan lapisan adapter dengan mengganti modul AdaptedAttention.
Aktifkan lapisan adapter dengan mengganti modul AdaptedAttention yang di-cache.
Atur model untuk menggunakan adapter dengan nama yang diberikan.