PEFT documentation
DeLoRA: Adaptação de Baixo Rango Desacoplada
DeLoRA: Adaptação de Baixo Rango Desacoplada
DeLoRA é uma técnica de ajuste fino eficiente em parâmetros que mantém implicitamente um limite de Frobenius em relação aos pesos pré-treinados, normalizando e escalando matrizes de baixo posto aprendíveis. Isso desacopla efetivamente a aprendizagem das direções (termo BA) e da magnitude (termo de limite) das atualizações de pesos, evitando deslocamentos catastróficos nos pesos adaptados e aumentando a robustez às escolhas de hiperparâmetros.
Observação:
- use uma taxa de aprendizado 10-100x maior do que para as variantes padrão de LoRA (valores típicos de 1e-3/1e-2/..)
- garanta que o parâmetro de fronteira inicial lambda não seja muito pequeno (valores típicos em torno de 10/15/..). É possível definir lambdas diferentes para camadas diferentes
DeLoRA atualmente possui as seguintes restrições:
- Apenas camadas nn.Linear são suportadas.
- Camadas quantizadas não são suportadas.
Se essas restrições não funcionarem para o seu caso de uso, considere outros métodos.
O resumo do artigo é:
Métodos de FineTuning Eficiente em Parâmetros (PEFT) ganharam popularidade significativa recentemente, graças à ampla disponibilidade de modelos pré-treinados em larga escala. Esses métodos permitem uma adaptação rápida a tarefas downstream com custo computacional mínimo. No entanto, métodos populares de finetuning, como LoRA, apresentam robustez limitada no que diz respeito à escolha de hiperparâmetros ou a regimes de treinamento estendidos, impedindo um desempenho ideal pronto para uso. Em contraste, abordagens limitadas, como ETHER, oferecem maior robustez, mas são restritas a adaptações de rank extremamente baixo e transformações de força fixa, reduzindo seu poder expressivo de adaptação. Neste trabalho, propomos a Decoupled Low-rank Adaptation (DeLoRA), um novo método de finetuning que normaliza e escala matrizes de baixo rank aprendíveis. Ao limitar a distância da transformação, a DeLoRA desacopla efetivamente o aprendizado angular da força da adaptação, aprimorando a robustez sem comprometer o desempenho. Por meio de avaliações em geração de imagens orientada por assunto, compreensão de linguagem natural e ajuste de instruções, mostramos que a DeLoRA iguala ou supera o desempenho de métodos PEFT concorrentes, ao mesmo tempo em que exibe robustez mais forte.
Visão geral do benchmark
API
DeloraConfig
classe peft.DeloraConfig
< source >( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falser: int = 8delora_lambda: int = 15module_dropout: float = 0.0target_modules: Optional[Union[list[str], str]] = Noneexclude_modules: Optional[Union[list[str], str]] = Nonebias: Literal['none', 'all', 'delora_only'] = 'none'init_weights: bool = Truelayers_to_transform: Optional[Union[list[int], int]] = Nonelayers_pattern: Optional[Union[list[str], str]] = Nonerank_pattern: Optional[dict] = <factory>lambda_pattern: Optional[dict] = <factory>modules_to_save: Optional[list[str]] = None )
Parâmetros
- r (
int) — O rank do adaptador DeLoRA. - delora_lambda (
int) — O valor inicial da fronteira do adaptador DeLoRA. Esta variável define um limite superior para a norma de Frobenius da mudança de peso, evitando que o modelo ajustado se desvie demais do modelo original. - module_dropout (
float) — A probabilidade de dropout para desativar os módulos DeLoRA durante o treinamento. - target_modules (
Optional[Union[List[str], str]]) — Os nomes dos módulos aos quais o adaptador será aplicado. Se especificado, apenas os módulos com os nomes indicados serão substituídos. Ao passar uma string, será realizada uma correspondência por expressão regular. Ao passar uma lista de strings, será realizada uma correspondência exata ou será verificado se o nome do módulo termina com qualquer uma das strings passadas. Se especificado como ‘all-linear’, todos os módulos lineares/Conv1D serão selecionados, excluindo a camada de saída. Se não for especificado, os módulos serão escolhidos de acordo com a arquitetura do modelo. Se a arquitetura não for conhecida, um erro será lançado — nesse caso, você deve especificar os módulos de destino manualmente. - exclude_modules (
Optional[Union[List[str], str]]) — Os nomes dos módulos para os quais o adaptador não deve ser aplicado. Ao passar uma string, será realizada uma correspondência por expressão regular. Ao passar uma lista de strings, será realizada uma correspondência exata ou será verificado se o nome do módulo termina com qualquer uma das strings passadas. - bias (
str) — Tipo de viés para DeLoRA. Pode ser ‘none’, ‘all’ ou ‘delora_only’. Se for ‘all’ ou ‘delora_only’, os vieses correspondentes serão atualizados durante o treinamento. Tenha em mente que isso significa que, mesmo ao desativar os adaptadores, o modelo não produzirá a mesma saída que o modelo base teria sem adaptação. - init_weights (
bool) — Se deve realizar a inicialização dos pesos do adaptador. SeTrue(padrão): A é inicializado com inicialização uniforme de kaiming, enquanto B é inicializado com zeros. SeFalse: A e B são ambos inicializados com uniforme de kaiming, contribuindo imediatamente com um delta não nulo. Isso é geralmente desencorajado para uso normal. - layers_to_transform (
Union[List[int], int]) — Os índices das camadas a serem transformadas. Se uma lista de inteiros for passada, o adaptador será aplicado aos índices das camadas especificados nessa lista. Se um único inteiro for passado, as transformações serão aplicadas à camada nesse índice. - layers_pattern (
Optional[Union[List[str], str]]) — O nome do padrão de camadas, usado apenas selayers_to_transformfor diferente deNone. Isso deve apontar para onn.ModuleListdo modelo, que frequentemente é chamado de'layers'ou'h'. - rank_pattern (
dict) — O mapeamento de nomes de camadas ou expressões regulares para ranks que são diferentes do rank padrão especificado porr. Por exemplo,{'^model.decoder.layers.0.encoder_attn.k_proj': 16}. - lambda_pattern (
dict) — O mapeamento de nomes de camadas ou expressões regulares para lambdas que diferem da lambda padrão especificada pordelora_lambda. Por exemplo,{'^model.decoder.layers.0.encoder_attn.k_proj': 16}. - modules_to_save (
Optional[List[str]]) — Lista de módulos, além das camadas de adaptador, que devem ser configurados como treináveis e salvos no checkpoint final.
Esta é a classe de configuração para armazenar a configuração de um DeloraModel.
DeloraModel
classe peft.DeloraModel
< source >( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None ) → torch.nn.Module
Parâmetros
- model (
torch.nn.Module) — O modelo a ser adaptado. - config (DeloraConfig) — A configuração do modelo DeLoRA.
- adapter_name (
str) — O nome do adaptador, padrão é"default".
Retorna
torch.nn.Module
O modelo DeLoRA.
Cria um modelo DeLoRA a partir de um modelo transformers pré-treinado.
O método é descrito em detalhes em DeLoRA: Decoupled Low-rank Adaptation.
Atributos:
- model (PreTrainedModel) — O modelo a ser adaptado.
- peft_config (DeloraConfig): A configuração do modelo DeLoRA.