PEFT documentation

Ajuste do LayerNorm

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Ajuste do LayerNorm

Ajuste de LayerNorm (LN Tuning) é um método PEFT que ajusta finamente apenas os parâmetros das camadas de LayerNorm em um modelo. O artigo testou o desempenho deste método em modelos de linguagem de grande escala e demonstrou que ele pode alcançar um desempenho robusto com uma redução significativa no número de parâmetros treináveis e no uso de memória de GPU. No entanto, o método não se limita a modelos de linguagem e pode ser aplicado a qualquer modelo que utilize camadas de LayerNorm. Nesta implementação, o padrão é que todas as camadas de layernorm dentro de um modelo sejam ajustadas finamente, mas ele pode ser usado para direcionar outros tipos de camadas, como camadas MLP ou Attention. Isso pode ser feito especificando o target_modules no LNTuningConfig.

O resumo do artigo é:

Este artigo apresenta uma estratégia eficiente para transformar Modelos de Linguagem de Grande Escala (LLMs) em Modelos de Linguagem de Grande Escala Multimodais (MLLMs). Ao conceituar essa transformação como um processo de adaptação de domínio, ou seja, a transição da compreensão de texto para o acolhimento de múltiplas modalidades, observamos de forma intrigante que, dentro de cada bloco de atenção, ajustar o LayerNorm é suficiente para obter um desempenho robusto. Além disso, ao ser comparado a outras abordagens de ajuste, como o ajuste fino de todos os parâmetros ou o LoRA, seus benefícios em termos de eficiência são substanciais. Por exemplo, quando comparado ao LoRA em uma escala de modelo de 13B, o desempenho pode ser aprimorado em uma média de mais de 20% em cinco tarefas multimodais, e, ao mesmo tempo, resulta em uma redução significativa de 41,9% nos parâmetros treináveis e em uma diminuição de 17,6% no uso de memória de GPU. Além dessa estratégia de LayerNorm, demonstramos que ajustar seletivamente apenas com dados conversacionais pode melhorar ainda mais a eficiência. Além desses resultados empíricos, fornecemos uma análise abrangente para explorar o papel do LayerNorm na adaptação de LLMs ao domínio multimodal e na melhoria do poder expressivo do modelo.

Visão geral do benchmark

API

LNTuningConfig

classe peft.LNTuningConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falsetarget_modules: Optional[Union[list[str], str]] = Noneexclude_modules: Optional[Union[list[str], str]] = Nonemodules_to_save: Optional[Union[list[str], str]] = None )

Parâmetros

  • target_modules (Optional[Union[List[str], str]]) — Lista de nomes de módulos ou expressão regular dos nomes de módulos a serem substituídos pelo LNTuning. Por exemplo, ‘.decoder.’ ou ‘.encoder.’. Se isso não for especificado, os módulos serão escolhidos de acordo com a arquitetura do modelo. Se a arquitetura não for conhecida, um erro será lançado — nesse caso, você deve especificar os módulos de destino manualmente.
  • exclude_modules (Optional[Union[List[str], str]]) — Os nomes dos módulos aos quais o adaptador não deve ser aplicado. Ao passar uma string, será realizada uma correspondência por expressão regular. Ao passar uma lista de strings, será realizada uma correspondência exata ou será verificado se o nome do módulo termina com qualquer uma das strings passadas.
  • modules_to_save (Optional[Union[List[str], str]]) — Lista de módulos que serão definidos como treináveis e salvos no checkpoint final. Por exemplo, em tarefas de Classificação de Sequência ou Classificação de Tokens, a camada final classifier/score é inicializada aleatoriamente e, portanto, precisa ser treinável e salva.

Esta é a classe de configuração para armazenar a configuração de um LNTuningModel.

LNTuningModel

classe peft.LNTuningModel

< >

( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None ) → ‘torch.nn.Module’

Parâmetros

  • model (torch.nn.Module) — O modelo a ser adaptado.
  • config (LNTuningConfig) — A configuração do modelo de ajuste de LN.
  • adapter_name (str) — O nome do adaptador, padrão é "default".
  • low_cpu_mem_usage (bool, optional, padrão False) — Esta opção não tem efeito no ajuste de LN, mas existe para manter a consistência com outros métodos PEFT.

Retorna

‘torch.nn.Module’

O modelo adaptado com LayerNorm ativado.

Cria o ajuste de LayerNorm a partir de um modelo transformer pré-treinado.

O método é descrito em detalhes em https://huggingface.co/papers/2312.11420.

Exemplo:

>>> from transformers import AutoModelForCausalLM
>>> from peft import get_peft_model, TaskType, LNTuningConfig

>>> peft_config = LNTuningConfig(
...     task_type=TaskType.CAUSAL_LM,
... )

>>> model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b-hf")
>>> model = get_peft_model(model, peft_config)
>>> model.print_trainable_parameters()

Atributos:

Update on GitHub