# DEFT: Decompositional Efficient Fine-Tuning для моделей «текст в изображение»

[DEFT](https://proceedings.neurips.cc/paper_files/paper/2025/hash/93a34a7138bdad95e874018d5f491cc6-Abstract-Conference.html) (Decompositional Efficient Fine-Tuning) — это метод параметрически эффективной дообучения для моделей генерации изображений по тексту. Он декомпозирует обновление замороженной матрицы весов `W` на два обучаемых компонента: проекцию, удаляющую подпространство низкого ранга из `W`, и обновление низкого ранга, вводящее новый контент в это подпространство. Данная формулировка разработана для баланса между выравниванием с целевым распределением, обучением новым концепциям по нескольким изображениям (персонализация) и сохранением способности предобученной модели следовать инструкциям и редактируемости.

Конкретно, DEFT объединяет два обучаемых компонента низкого ранга: (1) проекцию на дополнение подпространства низкого ранга, натянутого на матрицу низкого ранга, и (2) обновление низкого ранга. Первая матрица низкого ранга определяет подпространство, тогда как вторая обеспечивает гибкую адаптацию параметров внутри этого подпространства.

Когда использовать DEFT: он лучше всего подходит для адаптации модели к новым данным или концепциям с **сохранением и даже улучшением способности базовой модели следовать инструкциям** и **минимизацией потери её предыдущих возможностей**.

Для каждого целевого слоя DEFT обучает направление проекции `P` (размер `out_features x r`) и матрицу инъекции `R` (размер `r x in_features`). Эффективный вес представляет собой остаточную проекцию

```
W' = (I - P_proj) @ W + Q_P @ R
```

Проектор `P_proj` выводится из `P` в соответствии с `decomposition_method`:

- `"relu"` (по умолчанию): `Q_P = P`, `P_proj = P @ relu(P).T` — неортогональная проекция.
- `"qr"`: `Q_P = qr(P)`, `P_proj = Q_P @ Q_P.T` — ортогональная проекция.

Член `(I - P_proj) @ W` удаляет подпространство предобученных весов, а `Q_P @ R` внедряет в него новый контент. По умолчанию (`init_weights=True`) `R` инициализируется так, что обновление является точным тождеством на этапе инициализации (`W' == W`), поэтому обучение начинается с предобученных весов и учится внедрению. Обновление эквивалентно аддитивному дельта-вкладу низкого ранга `Q_P @ (R - right.T @ W)`, который вычисляется без формирования матрицы проекции `out x out` и может быть объединён с базовыми весами для развёртывания без необходимости в инференсе.

Установка `para=True` выбирает вариант [PaRa](https://proceedings.iclr.cc/paper_files/paper/2025/hash/f09e8dd9274cb7c2dd0dc65ffc6f427a-Abstract-Conference.html) (Parameter Rank Reduction): обновление только с удалением `W' = (I - P_proj) @ W`, которое сохраняет лишь член удаления подпространства и исключает инъекцию. Обучается только проекция `P` (матрица инъекции `R` отсутствует), поэтому адаптер не является тождественным при инициализации. PaRa был предложен для персонализации диффузионных моделей «текст в изображение» и доступен здесь как частный случай DEFT.

DEFT в настоящее время реализован для слоёв `torch.nn.Linear` и `Conv1D` (например, gpt-2, через `fan_in_fan_out`). Исходная реализация и эксперименты из статьи (Dreambooth, Dreambench Plus, InsDet, VisualCloze, на Stable Diffusion и унифицированной модели) доступны по адресу [github.com/MAXNORM8650/DEFT](https://github.com/MAXNORM8650/DEFT).

Если вы используете DEFT в своей работе, пожалуйста, сослайтесь на статью:

```bibtex
@article{kumar2026deft,
  title={DEFT: Decompositional Efficient Fine-Tuning for Text-to-Image Models},
  author={Kumar, Komal and Anwer, Rao and Shahbaz Khan, Fahad and Khan, Salman and Laptev, Ivan and Cholakkal, Hisham},
  journal={Advances in Neural Information Processing Systems},
  volume={38},
  pages={102009--102035},
  year={2026}
}
```

Если вы используете вариант PaRa (`para=True`), пожалуйста, также укажите:

```bibtex
@inproceedings{chen2025personalizing,
  title={Para: Personalizing text-to-image diffusion via parameter rank reduction},
  author={Chen, Shangyu and Pan, Zizheng and Cai, Jianfei and Phung, Dinh},
  booktitle={International Conference on Learning Representations},
  year={2025}
}
```

## DeftConfig[[peft.DeftConfig]]

#### peft.DeftConfig[[peft.DeftConfig]]

```python
peft.DeftConfig(task_type: Optional[Union[str, TaskType]] = None, peft_type: Optional[Union[str, PeftType]] = None, auto_mapping: Optional[dict] = None, peft_version: Optional[str] = None, base_model_name_or_path: Optional[str] = None, revision: Optional[str] = None, inference_mode: bool = False, r: int = 8, target_modules: Optional[Union[list[str], str]] = None, exclude_modules: Optional[Union[list[str], str]] = None, decomposition_method: Literal['relu', 'qr'] = 'relu', init_scale: float = 1.0, alpha: Optional[int] = None, para: bool = False, fan_in_fan_out: bool = False, deft_dropout: float = 0.0, init_weights: bool = True, layers_to_transform: Optional[Union[list[int], int]] = None, layers_pattern: Optional[Union[list[str], str]] = None, bias: str = 'none', modules_to_save: Optional[list[str]] = None)
```

[Источник](https://github.com/huggingface/peft/blob/v0.22.0/src/peft/tuners/deft/config.py#L25)

**Параметры:**

r (`int`) : Ранг проекции/инъекции DEFT между слоями.

target_modules (`Optional[Union[List[str], str]]`) : Имена модулей, к которым следует применить адаптер. Если это значение указано, будут заменены только модули с указанными именами. При передаче строки выполняется сопоставление по регулярному выражению. При передаче списка строк выполняется точное совпадение или проверяется, заканчивается ли имя модуля каким-либо из переданных строк. Если это значение указано как 'all-linear', выбираются все линейные модули, за исключением выходного слоя. Если это значение не указано, модули выбираются в соответствии с архитектурой модели. Если архитектура неизвестна, будет выброшена ошибка — в этом случае следует указать целевые модули вручную.

exclude_modules (`Optional[Union[List[str], str]]`) : Имена модулей, к которым не следует применять адаптер. При передаче строки выполняется сопоставление по регулярному выражению. При передаче списка строк выполняется точное совпадение или проверяется, заканчивается ли имя модуля каким-либо из переданных строк.

decomposition_method (`str`) : Способ получения проектора `P_proj` из `P`. Либо `"relu"` (по умолчанию, неортогональный `P @ relu(P).T`), либо `"qr"` (ортогональный `Q_P @ Q_P.T`).

init_scale (`float`) : Масштабирование, применяемое к стандартному отклонению, используемому для инициализации матрицы инъекции `R` (используется только при `init_weights=False`). Меньшие значения сохраняют внедряемое обновление ближе к нулю на этапе инициализации. По умолчанию `1.0`.

alpha (`Optional[int]`) : Коэффициент масштабирования для инъекционного члена, который масштабируется величиной `alpha / r` (аналогично alpha в LoRA). Если `None`, масштабирование не применяется (коэффициент `1.0`). Член удаления подпространства не затрагивается.

para (`bool`) : Использовать ли метод PaRa: чистое удаление подпространства (`delta = -P_proj @ W`) без инъекционного члена. Если `True`, `R` не создаётся, `P` является единственным обучаемым матричным параметром, и адаптер не может быть тождественным при инициализации. По умолчанию `False` (полный DEFT).

fan_in_fan_out (`bool`) : Установите это значение в `True`, если заменяемый слой хранит веса в формате (fan_in, fan_out). Например, gpt-2 использует `Conv1D`, который хранит веса в формате (fan_in, fan_out), поэтому это значение должно быть установлено в `True`.

deft_dropout (`float`) : Вероятность dropout, применяемая к входу слоя. По умолчанию `0.0`.

init_weights (`bool`) : Использовать ли начальную инициализацию адаптера по умолчанию (тождественную) в DEFT, чтобы адаптер не влиял на модель в начале обучения. Не изменяйте этот параметр, если вы точно не знаете, что делаете. По умолчанию `True`.

layers_to_transform (`Union[List[int], int]`) : Индексы слоёв, которые необходимо преобразовать. Если передан список целых чисел, адаптер будет применён к слоям с индексами, указанными в этом списке. Если передано одно целое число, преобразования будут применены к слою с этим индексом.

layers_pattern (`Optional[Union[List[str], str]]`) : Имя шаблона слоя, используется только в том случае, если `layers_to_transform` отличается от `None`. Это должно указывать на `nn.ModuleList` модели, который часто называется `'layers'` или `'h'`.

bias (`str`) : Тип смещения для DEFT. Может быть `'none'`, `'all'` или `'deft_only'`.

modules_to_save (`List[str]`) : Список модулей, кроме адаптерных слоёв, которые нужно сделать обучаемыми и сохранить в итоговом контрольном пункте.

Это класс конфигурации для хранения конфигурации модели [DeftModel](/docs/peft/v0.22.0/ru/package_reference/deft#peft.DeftModel).

DEFT (Decompositional Efficient Fine-Tuning) выполняет внедрение знаний через обновление с остаточным проецированием. Для замороженного базового веса `W` обучаются направление низкорангового проецирования `P` (форма `out_features x r`) и матрица внедрения `R` (форма `r x in_features`). Адаптированный вес вычисляется как `W' = (I - P_proj) @ W + Q_P @ R`, где проектор `P_proj` выводится из `P` в соответствии с `decomposition_method`:

- `"relu"` (по умолчанию): `Q_P = P`, `P_proj = P @ relu(P).T` (неортогональная проекция)
- `"qr"`: `Q_P = qr(P)`, `P_proj = Q_P @ Q_P.T` (ортогональная проекция)

По умолчанию (`init_weights=True`) `R` инициализируется так, чтобы обновление на этапе инициализации было точной тождественной операцией (адаптированный вес равен `W`), поэтому обучение начинается с предобученных весов и учится встраиванию.

## DeftModel[[peft.DeftModel]]

#### peft.DeftModel[[peft.DeftModel]]

```python
peft.DeftModel(model, peft_config: Union[PeftConfig, dict[str, PeftConfig]], adapter_name: str, low_cpu_mem_usage: bool = False, state_dict: Optional[dict[str, torch.Tensor]] = None)
```

[Источник](https://github.com/huggingface/peft/blob/v0.22.0/src/peft/tuners/deft/model.py#L27)

**Параметры:**

model (`torch.nn.Module`) : модель, к которой будут прикреплены слои адаптивного тюнера.

config ([DeftConfig](/docs/peft/v0.22.0/ru/package_reference/deft#peft.DeftConfig)) : конфигурация модели DEFT.

adapter_name (`str`) : Имя адаптера, по умолчанию `"default"`.

low_cpu_mem_usage (`bool`, `optional`, по умолчанию `False`) : Создать пустые веса адаптера на мета-устройстве. Полезно для ускорения процесса загрузки.

**Возвращает:** `torch.nn.Module`

Модель DEFT.

Создаёт модель DEFT (Decompositional Efficient Fine-Tuning) на основе предобученной модели.

DEFT замораживает базовые веса и обучает, для каждого целевого модуля, направление низкорангового проецирования `P` и матрицу инъекции `R`. Эффективный вес становится `(I - P_proj) @ W + Q_P @ R`, заменяя подпространство `W` на вновь введённое содержимое (см. [DeftConfig](/docs/peft/v0.22.0/ru/package_reference/deft#peft.DeftConfig) для доступных вариантов `decomposition_method`).

**Атрибуты**:
- **model** (`~torch.nn.Module`) -- Модель, подлежащая адаптации.
- **peft_config** ([DeftConfig](/docs/peft/v0.22.0/ru/package_reference/deft#peft.DeftConfig)): конфигурация модели DEFT.

