PEFT documentation

LoHa

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

LoHa

Navigating Text-To-Image Customization: From LyCORIS Fine-Tuning to Model Evaluation

Düşük Sıralı Hadamard Çarpımı (LoHa), büyük ağırlık matrisini daha fazla düşük sıralı matrisle yaklaşık olarak ifade edip bunları Hadamard çarpımıyla birleştirmesi bakımından LoRA'ya benzer. Bu yöntem, LoRA'dan bile daha parametre verimlidir ve benzer performans elde eder. LoHa, başlangıçta federated learning (FedPara) için önerilmiş olmakla birlikte, genel amaçlı bir PEFT yöntemi olarak da iyi çalışır ve Stable Diffusion gibi görüntü üretim modellerinin ince ayarı için özellikle popülerdir.

Not: LoHa, LyCORIS adaptör ailesinin bir parçasıdır. Yakın akrabası olan LoKr, Hadamard çarpımı yerine Kronecker çarpımını kullanır.

Makalenin özeti şudur:

Bu çalışmada, sık model yüklemeleri ve indirmelerinin getirdiği yükleri aşmak için federatif öğrenmede (FL) iletişim verimli bir parametrelendirme olan FedPara'yı öneriyoruz. Yöntemimiz, katmanların ağırlık parametrelerini, Hadamard çarpımını takiben düşük rütbeli ağırlıklar kullanarak yeniden parametrelendirir. Geleneksel düşük rütbeli parametrelendirmeye kıyasla, FedPara yöntemimiz düşük rütbeli kısıtlamalara bağlı değildir ve bu sayede çok daha büyük bir kapasiteye sahiptir. Bu özellik, orijinal katmanlara sahip modele kıyasla 3 ila 10 kat daha düşük iletişim maliyeti gerektirirken karşılaştırılabilir performans elde etmeyi mümkün kılar; bu, geleneksel düşük rütbeli yöntemlerle sağlanamaz. Yöntemimizin verimliliği, diğer verimli FL optimizatörleriyle birleştirilerek daha da artırılabilir. Ayrıca, parametreleri küresel ve yerel olanlara ayıran, yöntemimizi kişiselleştirilmiş bir FL uygulaması olan pFedPara'ya genişletiyoruz. pFedPara'nın, üç kat daha az parametreyle rakip kişiselleştirilmiş FL yöntemlerinden daha iyi performans gösterdiğini gösteriyoruz.

Düşük rütbeli ayrıştırma, ağırlık güncellemelerinin düşük rütbeli uzaya kısıtlanması nedeniyle modelin ifade gücünü sınırlayabileceğinden performansı etkileyebilir. Ancak, eğitilebilir parametre sayısını artırdığı için daha büyük bir rütbe kullanmak her zaman istenmeyebilir. Bu sorunu ele almak için LoHa, çeşitli görseller üretme yeteneğinin önemli bir husus olduğu difüzyon modellerine uygulandı. LoHa, genel model türleriyle de çalışmalıdır, ancak gömme katmanları için destek şu anda PEFT'te uygulanmamıştır.

LoHa, matris çarpımı yerine Hadamard çarpımını ((öğe bazlı çarpım) kullanır. ΔW\Delta W LoRA'daki gibi iki yerine dört küçük matrisle temsil edilir ve bu düşük rütbeli matrislerin her çifti Hadamard çarpımıyla birleştirilir. Sonuç olarak ΔW\Delta W aynı sayıda eğitilebilir parametreye sahip olabilir, ancak daha yüksek bir rütbe ve ifade gücüne sahip olur.

LoHa ne zaman kullanılmalı

LoHa şu durumlarda iyi bir seçimdir:

  • En yaygın olarak kullanıldığı yer olan görsel üretim modellerini (Stable Diffusion UNet veya metin kodlayıcı) ince ayarlıyorsunuz.
  • Aynı sayıda eğitilebilir parametre için LoRA'dan daha yüksek etkili sıra istiyorsunuz, çünkü iki düşük sıralı matrisin Hadamard çarpımı, tek bir düşük sıralı çarpımdan daha büyük bir alt uzay kapsar.
  • PEFT yöntemlerini birleştirmek istiyorsunuz, örneğin LoHa'yı LoKr ile birlikte kullanarak, çıkarım sırasında PeftMixedModel kullanmak istiyorsunuz.

LoHa, lineer ve Conv2d katmanlarını destekler. Görevler ayrıca gömme katmanı uyarlama gerektiriyorsa, bunun yerine LoRA düşünün.

Kullanım

from diffusers import StableDiffusionPipeline
from peft import LoHaConfig, get_peft_model

config_unet = LoHaConfig(
    r=8,
    alpha=8,
    target_modules=[
        "to_k",
        "to_q",
        "to_v",
        "to_out.0",
        "proj_in",
        "proj_out",
    ],
    rank_dropout=0.0,
    module_dropout=0.0,
    use_effective_conv2d=True,
)

pipeline = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")
pipeline.unet = get_peft_model(pipeline.unet, config_unet)
pipeline.unet.print_healthcheck()

Karma performans değerlendirmesi genel bakış

API

LoHaConfig

sınıf peft.LoHaConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falserank_pattern: Optional[dict] = <factory>alpha_pattern: Optional[dict] = <factory>r: int = 8alpha: int = 8rank_dropout: float = 0.0module_dropout: float = 0.0use_effective_conv2d: bool = Falsetarget_modules: Optional[Union[list[str], str]] = Noneexclude_modules: Optional[Union[list[str], str]] = Noneinit_weights: bool = Truelayers_to_transform: Optional[Union[list[int], int]] = Nonelayers_pattern: Optional[Union[list[str], str]] = Nonemodules_to_save: Optional[list[str]] = None )

Parametreler

  • r (int) — LoHa rütbesi.
  • alpha (int) — LoHa ölçekleme için alpha parametresi.
  • rank_dropout (float) — Eğitim sırasında rank boyutu için dropout olasılığı.
  • module_dropout (float) — Eğitim sırasında LoHa modüllerini devre dışı bırakmak için kullanılan dropout olasılığı.
  • use_effective_conv2d (bool) — ksize > 1 olan Conv2d (ve Conv1d) için effective decomposition parametresini kullanır (FedPara makalesindeki “Proposition 3”).
  • target_modules (Optional[Union[List[str], str]]) — Uyarlamanın (adapter) uygulanacağı modüllerin adları. Bu parametre belirtilirse, yalnızca belirtilen adlara sahip modüller değiştirilir. Bir dize (string) geçirildiğinde, bir regex eşleşmesi yapılır. Dize listesi geçirildiğinde, tam bir eşleşme yapılır veya modül adının, geçirilen dizelerden herhangi biriyle sona erip ermediği kontrol edilir. Bu parametre ‘all-linear’ olarak belirtilirse, çıktı katmanı hariç tüm linear/Conv1D modülleri seçilir. Bu parametre belirtilmezse, modüller model mimarisine göre seçilir. Mimari bilinmiyorsa bir hata oluşturulur — bu durumda, hedef modülleri manuel olarak belirtmelisiniz.
  • exclude_modules (Optional[Union[List[str], str]]) — Uyarlamanın (adapter) uygulanmaması istenen modüllerin adları. Bir dize geçirildiğinde, bir regex eşleşmesi yapılır. Bir dize listesi geçirildiğinde, tam bir eşleşme yapılır veya modül adının, geçirilen dizelerden herhangi biriyle sonlanıp sonlanmadığı kontrol edilir.
  • init_weights (bool) — Adapter ağırlıklarının başlatılmasının yapılıp yapılmayacağını belirtir. Varsayılan değeri True'dur; False geçilmesi önerilmez.
  • layers_to_transform (Union[List[int], int]) — Dönüştürülecek katman indeksleri. Bir int listesi geçirilirse, adaptör bu listede belirtilen katman indekslerine uygulanır. Tek bir tamsayı geçirilirse, dönüşümler bu indeksteki katmana uygulanır.
  • layers_pattern (Optional[Union[List[str], str]]) — Katman desen adı, yalnızca layers_to_transform None'den farklıysa kullanılır. Bu, genellikle 'layers' veya 'h' olarak adlandırılan modelin nn.ModuleList'ini hedeflemelidir.
  • rank_pattern (dict) — r ile belirtilen varsayılan rank'ten farklı rank'lara sahip katman adlarının veya regexp ifadelerinin eşlemesi. Örneğin, {'^model.decoder.layers.0.encoder_attn.k_proj': 16}.
  • alpha_pattern (dict) — alpha ile belirtilen varsayılan alfa'dan farklı olan alfaların, katman adlarına veya regexp ifadesine eşlenmesi. Örneğin, {'^model.decoder.layers.0.encoder_attn.k_proj': 16}.
  • modules_to_save (Optional[List[str]]) — Adapter katmanları dışında, eğitilebilir olarak ayarlanacak ve nihai checkpoint'te kaydedilecek modüllerin listesi.

Bu, bir LoHaModel yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır.

LoHaModel

sınıf peft.LoHaModel

< >

( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None ) → torch.nn.Module

Parametreler

  • model (torch.nn.Module) — Adaptör ayarlayıcı katmanlarının bağlanacağı model.
  • config (LoHaConfig) — LoHa modelinin yapılandırması.
  • adapter_name (str) — Adaptörün adı, varsayılan olarak "default"'tır.
  • low_cpu_mem_usage (bool, optional, defaults to False) — Meta cihazda boş adaptör ağırlıkları oluşturur. Yükleme sürecini hızlandırmak için faydalıdır.

Dönüş değeri

torch.nn.Module

LoHa modeli.

Önceden eğitilmiş bir modelden Düşük Sıralı Hadamard Çarpımı modelini oluşturur. Yöntem kısmen https://huggingface.co/papers/2108.06098 adresinde açıklanmıştır. Mevcut uygulama büyük ölçüde https://github.com/KohakuBlueleaf/LyCORIS/blob/eb460098187f752a5d66406d3affade6f0a07ece/lycoris/modules/loha.py adresinden alınmıştır.

Örnek:

>>> from diffusers import StableDiffusionPipeline
>>> from peft import LoHaConfig, get_peft_model

>>> config_te = LoHaConfig(
...     r=8,
...     alpha=32,
...     target_modules=["k_proj", "q_proj", "v_proj", "out_proj", "fc1", "fc2"],
...     rank_dropout=0.0,
...     module_dropout=0.0,
...     init_weights=True,
... )
>>> config_unet = LoHaConfig(
...     r=8,
...     alpha=32,
...     target_modules=[
...         "proj_in",
...         "proj_out",
...         "to_k",
...         "to_q",
...         "to_v",
...         "to_out.0",
...         "ff.net.0.proj",
...         "ff.net.2",
...     ],
...     rank_dropout=0.0,
...     module_dropout=0.0,
...     init_weights=True,
...     use_effective_conv2d=True,
... )

>>> model = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")
>>> model.text_encoder = get_peft_model(model.text_encoder, config_te)
>>> model.unet = get_peft_model(model.unet, config_unet)

Öznitelikler:

  • model (~torch.nn.Module) — Uyarlanacak model.
  • peft_config (LoHaConfig): LoHa modelinin yapılandırması.
Update on GitHub