PEFT documentation

Fungsi untuk integrasi PEFT

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Fungsi untuk integrasi PEFT

Kumpulan fungsi yang dapat berguna untuk model non-PeftModel, misalnya integrasi transformers atau diffusers

Fungsi yang disediakan di sini dapat dianggap sebagai β€œAPI publik” dari PEFT dan karenanya aman untuk digunakan oleh paket yang menyediakan integrasi PEFT.

Casting tipe data bobot adapter

peft.tuners.tuners_utils.cast_adapter_dtype

< >

( model: nn.Moduleadapter_name: strautocast_adapter_dtype: bool = True )

Parameter

  • adapter_name (str) β€” Nama adapter.
  • autocast_adapter_dtype (bool, opsional) β€” Apakah akan melakukan autocast pada dtype adapter. Defaultnya adalah True.

Metode bantu untuk meng-cast bobot adapter ke dtype yang benar. Metode ini menugaskan ulang parameter baru ke lapisan adapter; jika beberapa objek masih merujuk ke parameter lama, referensi tersebut tidak akan diperbarui.

Saat ini, ini hanya mengubah dtype float menjadi float32.

Hapus adapter PEFT dari model

peft.tuners.tuners_utils.delete_adapter

< >

( model: nn.Moduleadapter_name: strprefix: strlayer_cls: type[BaseTunerLayer] = <class 'peft.tuners.tuners_utils.BaseTunerLayer'> ) β†’ new_adapter (list[str] | None)

Parameter

  • model (nn.Module) β€” Model tempat adapter harus dihapus.
  • adapter_name (str) β€” Nama adapter yang akan dihapus.
  • prefix (str) β€” Prefiks dari metode PEFT, misalnya β€œlora_” untuk LoRA.
  • layer_cls (type, opsional) β€” Kelas dari lapisan adapter. Secara default adalah BaseTunerLayer.

Mengembalikan

new_adapter (list[str] | None)

Nama adapter yang tersisa setelah penghapusan, atau None jika tidak ada adapter aktif yang tersisa. Gunakan ini untuk mengatur adapter aktif baru dari model jika diperlukan.

Hapus adapter PEFT yang sudah ada.

Catatan: Fungsi ini tidak menghapus konfigurasi PEFT pada model, jika ada. Fungsi ini juga tidak akan sepenuhnya menghapus lapisan PEFT jika adapter PEFT terakhir dihapus. Untuk ini, pertimbangkan untuk menggunakan model.unload() jika menggunakan instance model PEFT, atau memuat ulang model dasar.

Dapatkan state dict dari adapter PEFT

peft.get_peft_model_state_dict

< >

( modelstate_dict = Noneadapter_name: str = 'default'unwrap_compiled: bool = Falsesave_embedding_layers: bool | Literal['auto'] = 'auto' )

Parameter

  • model (PeftModel) β€” Model Peft. Saat menggunakan torch.nn.DistributedDataParallel, DeepSpeed, atau FSDP, model harus berupa model dasar/model yang tidak dibungkus (yaitu model.module).
  • state_dict (dict, opsional, default None) β€” State dict dari model. Jika tidak disediakan, state dict dari model yang diberikan akan digunakan.
  • adapter_name (str, opsional, defaultnya "default") β€” Nama adapter yang state dict-nya harus dikembalikan.
  • unwrap_compiled (bool, opsional, defaultnya False) β€” Apakah akan membuka bungkus model jika torch.compile digunakan.
  • save_embedding_layers (Union[bool, str], , opsional, defaultnya auto) β€” Jika True, simpan lapisan embedding di samping bobot adapter. Jika auto, periksa lapisan embedding umum peft.utils.other.EMBEDDING_LAYER_NAMES di target_modules config jika tersedia. Berdasarkan itu, set flag boolean. Ini hanya berfungsi untuk model πŸ€— transformers.

Dapatkan state dict dari adapter tertentu dari model PEFT.

Ini hanya mencakup parameter PEFT, bukan parameter dari model dasar. Dengan demikian, state_dict yang dikembalikan umumnya kecil dibandingkan dengan ukuran model penuh. Untuk mengambil state_dict penuh, cukup panggil model.state_dict().

Jika entri yang dipilih berisi tensor terdistribusi (misalnya FSDP2 atau DTensor TP), semua rank yang berpartisipasi harus memanggil fungsi ini: pengumpulan entri tersebut menjadi tensor penuh adalah operasi kolektif. Bobot model dasar yang tidak dipilih tetap terpecah (sharded).

Perhatikan bahwa nama adapter dihapus dari state_dict, karena ini hanyalah nama sewenang-wenang yang dapat diubah saat memuat adapter. Jadi, misalnya, jika nama adapter adalah 'default' dan kunci aslinya adalah 'model.q_proj.lora_A.default.weight', kunci yang dikembalikan akan menjadi 'model.q_proj.lora_A.weight'. Gunakan fungsi ini bersama dengan set_peft_model_state_dict() untuk menangani nama adapter saat memuat bobot.

Suntikkan adapter PEFT ke dalam model berdasarkan konfigurasi PEFT

peft.inject_adapter_in_model

< >

( peft_config: PeftConfigmodel: torch.nn.Moduleadapter_name: str = 'default'low_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None )

Parameter

  • peft_config (PeftConfig) β€” Objek konfigurasi yang berisi parameter model PEFT.
  • model (torch.nn.Module) β€” Model input tempat adapter akan disuntikkan.
  • adapter_name (str, optional, defaultnya "default") β€” Nama adapter yang akan disuntikkan; jika tidak diberikan, nama adapter default (β€œdefault”) akan digunakan.
  • low_cpu_mem_usage (bool, optional, defaults to False) β€” Membuat bobot adapter kosong pada perangkat meta. Berguna untuk mempercepat proses pemuatan.
  • state_dict (dict, opsional, default None) β€” Jika state_dict diberikan di sini, adapter akan disuntikkan berdasarkan entri dari state_dict. Hal ini dapat berguna ketika target_modules yang tepat dari metode PEFT tidak diketahui, misalnya karena checkpoint dibuat tanpa meta data. Perhatikan bahwa nilai dari state_dict tidak digunakan, hanya kuncinya yang digunakan untuk menentukan lapisan yang benar yang harus diadaptasi.

Buat lapisan PEFT dan suntikkan ke dalam model secara in-place.

Saat ini, API tidak mendukung metode pembelajaran prompt, adaption prompt, atau tuner yang mempertahankan status adapter yang dibagikan di antara beberapa lapisan target. Gunakan get_peft_model() untuk yang terakhir.

Fungsi ini mirip dengan get_peft_model() tetapi tidak mengembalikan instance PeftModel. Sebagai gantinya, fungsi ini mengembalikan instance asli dari model yang diberikan, yang telah dimodifikasi.

Atur adapter PEFT aktif dari model

peft.tuners.tuners_utils.set_adapter

< >

( modeladapter_name: str | list[str]inference_mode: bool = Falselayer_cls: type[BaseTunerLayer] = <class 'peft.tuners.tuners_utils.BaseTunerLayer'> )

Parameter

  • model (nn.Module) β€” Model tempat adapter harus disetel.
  • adapter_name (str, list[str]) β€” Nama adapter yang akan disetel sebagai aktif
  • inference_mode (bool, opsional) β€” Apakah adapter yang diaktifkan harus dibekukan (yaitu requires_grad=False). Default adalah False.
  • layer_cls (type, opsional) β€” Kelas dari lapisan adapter. Secara default adalah BaseTunerLayer.

Atur adapter PEFT aktif dari model.

Adaptor aktif adalah adaptor yang berpartisipasi dalam langkah maju (forward pass). Gunakan fungsi ini jika Anda ingin beralih antara beberapa adaptor PEFT.

Atur mode pelatihan dari adapter yang ditentukan

peft.tuners.tuners_utils.set_training

< >

( modeladapter_names: str | Sequence[str]training: bool = True )

Parameter

  • model (nn.Module) β€” Model yang mode pelatihan modul adapter-nya harus diperbarui.
  • adapter_names (str atau Sequence[str]) β€” Nama adapter yang mode pelatihannya harus diperbarui.
  • training (bool, opsional) β€” Apakah akan mengaktifkan (True, default) atau menonaktifkan (False) mode pelatihan.

Aktifkan atau nonaktifkan mode pelatihan pada modul adapter yang diberikan.

Atur atribut requires_grad dari adapter yang ditentukan

peft.tuners.tuners_utils.set_requires_grad

< >

( modeladapter_names: str | Sequence[str]requires_grad: bool = True )

Parameter

  • model (nn.Module) β€” Model yang persyaratan gradien adapter-nya harus diperbarui.
  • adapter_names (str atau Sequence[str]) β€” Nama adapter yang gradiennya harus diaktifkan/dinonaktifkan.
  • requires_grad (bool, opsional) β€” Apakah akan mengaktifkan (True, default) atau menonaktifkan (False).

Aktifkan atau nonaktifkan gradien pada adapter yang diberikan.

Muat bobot dari state dict PEFT ke dalam model

peft.set_peft_model_state_dict

< >

( modelpeft_model_state_dictadapter_name = 'default'ignore_mismatched_sizes: bool = Falselow_cpu_mem_usage: bool = False )

Parameter

  • model (PeftModel) β€” Model Peft.
  • peft_model_state_dict (dict) β€” State dict dari model Peft.
  • adapter_name (str, opsional, defaultnya "default") β€” Nama adapter yang state dict-nya harus disetel.
  • ignore_mismatched_sizes (bool, opsional, default False) β€” Apakah mengabaikan ukuran yang tidak cocok dalam state dict.
  • low_cpu_mem_usage (bool, optional, defaults to False) β€” Argumen ini harus True jika model dimuat dengan bobot adapter pada perangkat meta, misalnya setelah memanggil inject_adapter_in_model dengan low_cpu_mem_usage=True. Jika tidak, biarkan sebagai False.

Set state dict dari model PEFT.

Diberikan state_dict PEFT (seperti yang dikembalikan oleh get_peft_model_state_dict()), sisipkan bobot ke dalam model. Model harus sudah memiliki adapter PEFT yang terpasang (misalnya melalui inject_adapter_in_model()).

Menetapkan bobot adapter juga menangani penyisipan ulang nama adapter. Nama ini mungkin berbeda dari nama yang awalnya digunakan untuk melatih adapter.

Update on GitHub