PEFT documentation
LyCORIS
LyCORIS
LyCORIS (Lora beYond Conventional methods, Other Rank adaptation Implementations for Stable diffusion) adalah adapter dekomposisi matriks mirip LoRA yang memodifikasi lapisan cross-attention dari UNet. Metode LoHa dan LoKr mewarisi dari kelas Lycoris di sini.
LycorisConfig
kelas peft.tuners.lycoris_utils.LycorisConfig
< source >( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falserank_pattern: Optional[dict] = <factory>alpha_pattern: Optional[dict] = <factory> )
Konfigurasi dasar untuk adapter seperti LyCORIS
LycorisLayer
Lapisan dasar untuk adapter seperti LyCORIS
merge
< source >( safe_merge: bool = Falseadapter_names: Optional[list[str]] = None )
Parameter
- safe_merge (
bool, opsional) — JikaTrue, operasi penggabungan akan dilakukan pada salinan bobot asli dan memeriksa NaN sebelum menggabungkan bobot. Ini berguna jika Anda ingin memeriksa apakah operasi penggabungan akan menghasilkan NaN. Bawaan adalahFalse. - adapter_names (
List[str], opsional) — Daftar nama adapter yang harus digabungkan. JikaNone, semua adapter aktif akan digabungkan. Nilai defaultnya adalahNone.
Gabungkan bobot adapter aktif ke dalam bobot dasar
Metode ini memisahkan semua lapisan adapter yang telah digabungkan dari bobot dasar.
LycorisTuner
kelas peft.tuners.lycoris_utils.LycorisTuner
< source >( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None )
Parameter
- model (
torch.nn.Module) — Model yang akan diadaptasi. - config (LoraConfig) — Konfigurasi model Lora.
- adapter_name (
str) — Nama adapter, secara default"default". - low_cpu_mem_usage (
bool,optional, defaults toFalse) — Membuat bobot adapter kosong pada perangkat meta. Berguna untuk mempercepat proses pemuatan.
Penala dasar untuk adapter seperti LyCORIS