# DeLoRA: Adaptação de Baixo Rango Desacoplada
[DeLoRA](https://huggingface.co/papers/2503.18225) é uma técnica de ajuste fino eficiente em parâmetros que mantém implicitamente um limite de Frobenius em relação aos pesos pré-treinados, normalizando e escalando matrizes de baixo posto aprendíveis. Isso desacopla efetivamente a aprendizagem das direções (termo BA) e da magnitude (termo de limite) das atualizações de pesos, evitando deslocamentos catastróficos nos pesos adaptados e aumentando a robustez às escolhas de hiperparâmetros.

Observação:
- use uma taxa de aprendizado 10-100x maior do que para as variantes padrão de LoRA (valores típicos de 1e-3/1e-2/..)
- garanta que o parâmetro de fronteira inicial lambda não seja muito pequeno (valores típicos em torno de 10/15/..). É possível definir lambdas diferentes para camadas diferentes

DeLoRA atualmente possui as seguintes restrições:
- Apenas camadas nn.Linear são suportadas.
- Camadas quantizadas não são suportadas.

Se essas restrições não funcionarem para o seu caso de uso, considere outros métodos.

O resumo do artigo é:

> Métodos de FineTuning Eficiente em Parâmetros (PEFT) ganharam popularidade significativa recentemente, graças à ampla disponibilidade de modelos pré-treinados em larga escala. Esses métodos permitem uma adaptação rápida a tarefas downstream com custo computacional mínimo. No entanto, métodos populares de finetuning, como LoRA, apresentam robustez limitada no que diz respeito à escolha de hiperparâmetros ou a regimes de treinamento estendidos, impedindo um desempenho ideal pronto para uso. Em contraste, abordagens limitadas, como ETHER, oferecem maior robustez, mas são restritas a adaptações de rank extremamente baixo e transformações de força fixa, reduzindo seu poder expressivo de adaptação. Neste trabalho, propomos a Decoupled Low-rank Adaptation (DeLoRA), um novo método de finetuning que normaliza e escala matrizes de baixo rank aprendíveis. Ao limitar a distância da transformação, a DeLoRA desacopla efetivamente o aprendizado angular da força da adaptação, aprimorando a robustez sem comprometer o desempenho. Por meio de avaliações em geração de imagens orientada por assunto, compreensão de linguagem natural e ajuste de instruções, mostramos que a DeLoRA iguala ou supera o desempenho de métodos PEFT concorrentes, ao mesmo tempo em que exibe robustez mais forte.

## Visão geral do benchmark

<iframe src="https://peft-internal-testing-peft-method-comparison-embed.hf.space/?highlight[type]=DELORA" frameborder="0" width="850" height="1000"
>

# API

## DeloraConfig[[peft.DeloraConfig]]

#### peft.DeloraConfig[[peft.DeloraConfig]]

```python
peft.DeloraConfig(task_type: Optional[Union[str, TaskType]] = None, peft_type: Optional[Union[str, PeftType]] = None, auto_mapping: Optional[dict] = None, peft_version: Optional[str] = None, base_model_name_or_path: Optional[str] = None, revision: Optional[str] = None, inference_mode: bool = False, r: int = 8, delora_lambda: int = 15, module_dropout: float = 0.0, target_modules: Optional[Union[list[str], str]] = None, exclude_modules: Optional[Union[list[str], str]] = None, bias: Literal['none', 'all', 'delora_only'] = 'none', init_weights: bool = True, layers_to_transform: Optional[Union[list[int], int]] = None, layers_pattern: Optional[Union[list[str], str]] = None, rank_pattern: Optional[dict] = <factory>, lambda_pattern: Optional[dict] = <factory>, modules_to_save: Optional[list[str]] = None)
```

[Fonte](https://github.com/huggingface/peft/blob/v0.22.0/src/peft/tuners/delora/config.py#L24)

**Parâmetros:**

r (`int`) : O rank do adaptador DeLoRA.

delora_lambda (`int`) : O valor inicial da fronteira do adaptador DeLoRA. Esta variável define um limite superior para a norma de Frobenius da mudança de peso, evitando que o modelo ajustado se desvie demais do modelo original.

module_dropout (`float`) : A probabilidade de dropout para desativar os módulos DeLoRA durante o treinamento.

target_modules (`Optional[Union[List[str], str]]`) : Os nomes dos módulos aos quais o adaptador será aplicado. Se especificado, apenas os módulos com os nomes indicados serão substituídos. Ao passar uma string, será realizada uma correspondência por expressão regular. Ao passar uma lista de strings, será realizada uma correspondência exata ou será verificado se o nome do módulo termina com qualquer uma das strings passadas. Se especificado como 'all-linear', todos os módulos lineares/Conv1D serão selecionados, excluindo a camada de saída. Se não for especificado, os módulos serão escolhidos de acordo com a arquitetura do modelo. Se a arquitetura não for conhecida, um erro será lançado — nesse caso, você deve especificar os módulos de destino manualmente.

exclude_modules (`Optional[Union[List[str], str]]`) : Os nomes dos módulos aos quais o adaptador não deve ser aplicado. Ao passar uma string, será realizada uma correspondência por regex. Ao passar uma lista de strings, será realizada uma correspondência exata ou será verificado se o nome do módulo termina com qualquer uma das strings passadas.

bias (`str`) : Tipo de viés para DeLoRA. Pode ser 'none', 'all' ou 'delora_only'. Se for 'all' ou 'delora_only', os vieses correspondentes serão atualizados durante o treinamento. Tenha em mente que isso significa que, mesmo ao desativar os adaptadores, o modelo não produzirá a mesma saída que o modelo base teria sem adaptação.

init_weights (`bool`) : Se deve realizar a inicialização dos pesos do adaptador. Se `True` (padrão): A é inicializado com inicialização uniforme de kaiming, enquanto B é inicializado com zeros. Se `False`: A e B são ambos inicializados com uniforme de kaiming, contribuindo imediatamente com um delta não nulo. Isso é geralmente desencorajado para uso normal.

layers_to_transform (`Union[List[int], int]`) : Os índices das camadas a serem transformadas. Se uma lista de inteiros for passada, o adaptador será aplicado aos índices das camadas especificados nesta lista. Se um único inteiro for passado, as transformações serão aplicadas à camada neste índice.

layers_pattern (`Optional[Union[List[str], str]]`) : O nome do padrão da camada, usado apenas se `layers_to_transform` for diferente de `None`. Isso deve apontar para o `nn.ModuleList` do modelo, que frequentemente é chamado de `'layers'` ou `'h'`.

rank_pattern (`dict`) : O mapeamento de nomes de camadas ou expressões regulares para ranks que são diferentes do rank padrão especificado por `r`. Por exemplo, `{'^model.decoder.layers.0.encoder_attn.k_proj': 16}`.

lambda_pattern (`dict`) : O mapeamento de nomes de camadas ou expressões regulares para lambdas que são diferentes da lambda padrão especificada por `delora_lambda`. Por exemplo, `{'^model.decoder.layers.0.encoder_attn.k_proj': 16}`.

modules_to_save (`Optional[List[str]]`) : Lista de módulos, além das camadas de adaptador, que devem ser configurados como treináveis e salvos no checkpoint final.

Esta é a classe de configuração para armazenar a configuração de um [DeloraModel](/docs/peft/v0.22.0/pt/package_reference/delora#peft.DeloraModel).

## DeloraModel[[peft.DeloraModel]]

#### peft.DeloraModel[[peft.DeloraModel]]

```python
peft.DeloraModel(model, peft_config: Union[PeftConfig, dict[str, PeftConfig]], adapter_name: str, low_cpu_mem_usage: bool = False, state_dict: Optional[dict[str, torch.Tensor]] = None)
```

[Fonte](https://github.com/huggingface/peft/blob/v0.22.0/src/peft/tuners/delora/model.py#L28)

**Parâmetros:**

model (`torch.nn.Module`) : O modelo a ser adaptado.

config ([DeloraConfig](/docs/peft/v0.22.0/pt/package_reference/delora#peft.DeloraConfig)) : A configuração do modelo DeLoRA.

adapter_name (`str`) : O nome do adaptador, padrão é `"default"`.

**Retorna:** `torch.nn.Module`

O modelo DeLoRA.

Cria um modelo DeLoRA a partir de um modelo transformers pré-treinado.

O método é descrito em detalhes em [DeLoRA: Decoupled Low-rank Adaptation](https://huggingface.co/papers/2503.18225).

**Atributos**:
- **model** ([PreTrainedModel](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/model#transformers.PreTrainedModel)) -- O modelo a ser adaptado.
- **peft_config** ([DeloraConfig](/docs/peft/v0.22.0/pt/package_reference/delora#peft.DeloraConfig)): A configuração do modelo DeLoRA.

