PEFT documentation

FourierFT: Fine-Tuning Transformasi Fourier Diskrit

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

FourierFT: Fine-Tuning Transformasi Fourier Diskrit

FourierFT adalah teknik fine-tuning yang efisien dalam hal parameter, yang memanfaatkan Discrete Fourier Transform untuk mengompres bobot model yang dapat disetel. Metode ini melampaui LoRA pada benchmark GLUE dan tugas klasifikasi ViT umum dengan menggunakan jauh lebih sedikit parameter.

FourierFT saat ini memiliki batasan berikut:

  • Hanya lapisan nn.Linear yang didukung.
  • Lapisan terkuantisasi tidak didukung.

Jika batasan-batasan ini tidak sesuai dengan kasus penggunaan Anda, pertimbangkan metode lain sebagai gantinya.

Kapan menggunakan FourierFT vs. LoRA

LoRA merepresentasikan pembaruan bobot dengan dua matriks ber-rank rendah. FourierFT sebaliknya mempelajari koefisien yang dipilih di domain Fourier dan menggunakan transformasi Fourier diskrit invers untuk merekonstruksi pembaruan tersebut.

FourierFT mungkin berguna ketika mengurangi jumlah parameter adapter yang dapat dilatih atau ukuran penyimpanan adapter menjadi prioritas. Pengaturan n_frequency mengontrol jumlah koefisien yang dipelajari untuk setiap lapisan yang diadaptasi. Nilai yang lebih tinggi biasanya membutuhkan lebih banyak memori GPU dan dapat meningkatkan akurasi, sehingga pengaturan yang tepat bergantung pada tugas dan model.

Paper FourierFT melaporkan hasil yang setara atau lebih baik daripada LoRA dalam eksperimen pemahaman bahasa, generasi teks, penyetelan instruksi, dan klasifikasi gambar yang dievaluasi, dengan jumlah parameter yang dapat dilatih lebih sedikit pada konfigurasi tersebut. Hasil ini bersifat spesifik tugas; mereka tidak menjamin bahwa FourierFT akan melampaui LoRA pada model atau dataset yang berbeda.

Abstrak dari makalah tersebut adalah:

Adaptasi peringkat rendah (LoRA) baru-baru ini menarik banyak minat dalam penyesuaian halus (fine-tuning) model fondasi. Metode ini secara efektif mengurangi jumlah parameter yang dapat dilatih dengan memasukkan matriks peringkat rendah A dan B untuk mewakili perubahan bobot, yaitu Delta W=BA. Meskipun LoRA telah menunjukkan kemajuan, metode ini menghadapi tantangan penyimpanan saat menangani adaptasi kustomisasi yang luas atau model dasar yang lebih besar. Dalam karya ini, kami bertujuan untuk lebih mengompresi parameter yang dapat dilatih dengan memanfaatkan ekspresivitas yang kuat dari transformasi Fourier. Secara spesifik, kami memperkenalkan FourierFT, yang memperlakukan Delta W sebagai matriks dalam domain spasial dan hanya mempelajari sebagian kecil dari koefisien spektral-nya. Dengan koefisien spektral yang telah dilatih, kami menerapkan transformasi Fourier diskrit invers untuk memulihkan Delta W. Secara empiris, metode FourierFT kami menunjukkan kinerja yang setara atau lebih baik dengan jumlah parameter yang lebih sedikit dibandingkan LoRA pada berbagai tugas, termasuk pemahaman bahasa alami, generasi bahasa alami, penyetelan instruksi, dan klasifikasi gambar. Sebagai contoh, saat melakukan penyetelan instruksi pada model LLaMA2-7B, FourierFT melampaui LoRA dengan hanya 0,064 juta parameter yang dapat dilatih, dibandingkan dengan 33,5 juta parameter milik LoRA.

Ikhtisar benchmark

API

FourierFTConfig

kelas peft.FourierFTConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falsen_frequency: int = 1000scaling: float = 150.0random_loc_seed: Optional[int] = 777fan_in_fan_out: bool = Falsetarget_modules: Optional[Union[list[str], str]] = Noneexclude_modules: Optional[Union[list[str], str]] = Nonebias: str = 'none'modules_to_save: Optional[list[str]] = Nonelayers_to_transform: Optional[Union[list[int], int]] = Nonelayers_pattern: Optional[Union[list[str], str]] = Nonen_frequency_pattern: Optional[dict] = <factory>init_weights: bool = False )

Parameter

  • n_frequency (int) — Jumlah frekuensi yang dapat dipelajari untuk Discrete Fourier Transform. ‘n_frequency’ adalah bilangan bulat yang lebih besar dari 0 dan kurang dari atau sama dengan d^2 (dengan asumsi bobot W memiliki dimensi d kali d). Selain itu, ini adalah jumlah parameter yang dapat dilatih yang diperlukan untuk memperbarui setiap bobot delta W. ‘n_frequency’ akan memengaruhi kinerja dan efisiensi untuk PEFT. Secara spesifik, nilainya memiliki sedikit dampak pada kecepatan pelatihan, tetapi nilai yang lebih tinggi (umumnya) menghasilkan biaya memori GPU yang lebih besar dan akurasi yang lebih baik. Dengan target_modules yang sama, jumlah parameter LoRA adalah (2dr/n_frequency) kali jumlah parameter FourierFT. Contoh pengaturan berikut terkait ‘n_frequency’ dapat digunakan sebagai referensi bagi pengguna. Untuk tugas NLU dengan model RoBERTa-large, mengadopsi ‘n_frequency’: 1000 dapat hampir mencapai hasil yang serupa dengan ‘r’: 8 di LoRA. Pada saat ini, jumlah parameter LoRA adalah sekitar 16 kali jumlah parameter FourierFT. Untuk tugas klasifikasi gambar dengan model Vit-large, mengadopsi ‘n_frequency’: 3000 dapat hampir mencapai hasil yang serupa dengan ‘r’: 16 di LoRA, di mana jumlah parameter LoRA adalah sekitar 11 kali jumlah parameter FourierFT.
  • scaling (float) — Nilai scaling untuk matriks delta W. Ini adalah hiperparameter penting yang digunakan untuk penskalaan, serupa dengan parameter ‘lora_alpha’ pada metode LoRA. ‘scaling’ dapat ditentukan selama proses pencarian hiperparameter. Namun, jika pengguna ingin melewati proses ini, mereka dapat merujuk pada pengaturan dalam skenario berikut. Parameter ini dapat diatur ke 100.0 atau 150.0 untuk model RoBERTa-base dan RoBERTa-large di semua tugas NLU (GLUE). Parameter ini dapat diatur ke 300.0 untuk model keluarga LLaMA untuk semua penyetelan instruksi. Parameter ini dapat diatur ke 300.0 untuk model ViT-base dan ViT-large di semua tugas klasifikasi gambar.
  • random_loc_seed (int) — Seed untuk lokasi acak frekuensi, yaitu matriks entri spektral.
  • target_modules (Union[list[str],str]) — Daftar nama modul atau ekspresi regex dari nama modul yang akan diganti dengan FourierFT. Misalnya, [‘q’, ‘v’] atau ‘.decoder.(SelfAttention|EncDecAttention).*(q|v)$‘. Hanya lapisan linear yang didukung.
  • exclude_modules (Optional[Union[List[str], str]]) — Nama-nama modul yang tidak akan diterapkan adapter. Saat melewatkan string, pencocokan regex akan dilakukan. Saat melewatkan daftar string, pencocokan persis akan dilakukan atau diperiksa apakah nama modul berakhiran dengan salah satu string yang dilewatkan.
  • fan_in_fan_out (bool) — Atur ini ke True jika layer yang akan diganti menyimpan bobot seperti (fan_in, fan_out).
  • bias (str) — Jenis bias untuk FourierFT. Bisa berupa ‘none’, ‘all’ atau ‘fourier_only’.
  • modules_to_save (list[str]) — Daftar modul di luar lapisan FourierFT yang akan diatur sebagai trainable dan disimpan dalam checkpoint akhir. Sebagai contoh, dalam tugas Sequence Classification atau Token Classification, lapisan akhir classifier/score diinisialisasi secara acak sehingga perlu dibuat trainable dan disimpan.
  • layers_to_transform (Union[list[int],int]) — Indeks layer yang akan ditransformasi. Jika argumen ini ditentukan, PEFT hanya akan mentransformasi indeks layer yang tercantum di dalam daftar ini. Jika satu bilangan bulat tunggal diberikan, PEFT hanya akan mentransformasi layer pada indeks tersebut.
  • layers_pattern (Optional[Union[List[str], str]]) — Nama pola layer, hanya digunakan jika layers_to_transform berbeda dari None dan jika pola layer tersebut tidak ada dalam pola layer umum. Ini harus menargetkan nn.ModuleList dari model, yang sering disebut sebagai 'layers' atau 'h'.
  • n_frequency_pattern (dict) — Pemetaan dari nama layer atau ekspresi regexp ke n_frequency yang berbeda dari nilai default yang ditentukan. Sebagai contoh, {model.decoder.layers.0.encoder_attn.k_proj: 1000}.
  • init_weights (bool) — Inisialisasi bobot Fourier. Atur ini ke False (default) jika spektrum diinisialisasi ke distribusi normal standar. Atur ini ke True jika spektrum diinisialisasi ke nol.

Ini adalah kelas konfigurasi untuk menyimpan konfigurasi dari FourierFTModel.

FourierFTModel

kelas peft.FourierFTModel

< >

( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None ) → torch.nn.Module

Parameter

  • model (torch.nn.Module) — Model yang akan diadaptasi.
  • config (FourierFTConfig) — Konfigurasi model FourierFT.
  • adapter_name (str) — Nama adapter, secara default "default".
  • low_cpu_mem_usage (bool, optional, defaults to False) — Membuat bobot adapter kosong pada perangkat meta. Berguna untuk mempercepat proses pemuatan.

Mengembalikan

torch.nn.Module

Model FourierFT.

Membuat model FourierFT dari model transformers yang sudah dilatih sebelumnya.

Metode ini dijelaskan secara rinci di https://huggingface.co/papers/2405.03003.

Atribut:

Update on GitHub