PEFT documentation
LoHa
LoHa

Low-Rank Hadamard Product(LoHa)는 LoRA와 유사하지만, 더 많은 저순위 행렬로 큰 가중치 행렬을 근사하고 Hadamard product로 결합합니다. 이 방법은 LoRA보다 더 높은 파라미터 효율성을 제공하며, 동등한 성능을 달성합니다. LoHa는 원래 federated learning(FedPara)을 위해 제안되었지만, 일반적인 PEFT 방법으로도 잘 작동하며, Stable Diffusion과 같은 이미지 생성 모델의 fine-tuning에 특히 널리 사용됩니다.
참고: LoHa는 LyCORIS 어댑터 계열의 일부입니다. 그와 밀접한 관련이 있는 LoKr는 Hadamard 곱 대신 Kronecker 곱을 사용합니다.
해당 논문의 초록은 다음과 같습니다:
본 연구에서는 빈번한 모델 업로드 및 다운로드에 따른 부담을 극복하기 위해 연동 학습(Federated Learning, FL)에 통신 효율적인 파라미터화 방식인 FedPara를 제안합니다. 제안된 방법은 Hadamard 곱을 수행한 후 저랭크(low-rank) 가중치를 사용하여 레이어의 가중치 파라미터를 재파라미터화합니다. 기존의 저랭크 파라미터화와 비교할 때, FedPara는 저랭크 제약에 구애받지 않으므로 훨씬 더 큰 용량을 가질 수 있습니다. 이러한 특성 덕분에, 기존 레이어를 가진 모델에 비해 3~10배 낮은 통신 비용으로 동등한 성능을 달성할 수 있으며, 이는 전통적인 저랭크 방법으로는 불가능한 결과입니다. 제안된 방법의 효율성은 다른 효율적인 FL 옵티마이저와 결합하여 더욱 향상시킬 수 있습니다. 또한, 본 연구에서는 파라미터를 글로벌 파라미터와 로컬 파라미터로 분리하는 개인화 연동 학습(Personalized FL) 응용 방식인 pFedPara로 방법을 확장했습니다. pFedPara가 경쟁하는 개인화 연동 학습 방법들보다 3배 이상 적은 파라미터로 더 우수한 성능을 발휘함을 보여줍니다.
Low-rank decomposition은 가중치 업데이트가 low-rank 공간으로 제한되어 모델의 표현력이 제약될 수 있으므로 성능에 영향을 미칠 수 있습니다. 그러나 학습 가능한 매개변수의 수가 증가하기 때문에 더 큰 rank를 사용해야 할 필요는 반드시 없습니다. 이를 해결하기 위해, 다양한 이미지를 생성하는 능력이 중요한 고려 사항인 diffusion models에 LoHa가 적용되었습니다. LoHa는 일반적인 모델 유형에서도 작동해야 하지만, 현재 PEFT에는 embedding layer에 대한 지원이 구현되어 있지 않습니다.
LoHa는 Hadamard product ((element-wise product)를 행렬 곱 대신 사용합니다. 은 LoRA와 달리 두 개가 아닌 네 개의 더 작은 행렬로 표현되며, 이 저순위 행렬의 각 쌍은 Hadamard product로 결합됩니다. 그 결과 은 학습 가능한 매개변수의 수는 동일하지만 더 높은 랭크와 표현력을 가질 수 있습니다.
LoHa를 사용할 때
LoHa는 다음 경우에 좋은 선택입니다:
- 가장 널리 사용되는 이미지 생성 모델(Stable Diffusion UNet 또는 text encoder)을 fine-tuning하는 경우입니다.
- 동일한 학습 가능 매개변수 수에서 LoRA보다 더 높은 유효 랭크를 원합니다. 두 저랭크 행렬의 하다마드 곱은 단일 저랭크 곱보다 더 큰 부분공간을 포함하기 때문입니다.
PeftMixedModel을 사용하여 추론 시 서로 다른 PEFT 방법을 결합하고 싶을 때, 예를 들어 LoHa와 LoKr을 함께 사용하는 경우입니다.
LoHa는 linear 및 Conv2d 레이어를 지원합니다. 임베딩 레이어 적응이 추가로 필요한 작업의 경우 LoRA를 사용하는 것을 고려해 보세요.
사용
from diffusers import StableDiffusionPipeline
from peft import LoHaConfig, get_peft_model
config_unet = LoHaConfig(
r=8,
alpha=8,
target_modules=[
"to_k",
"to_q",
"to_v",
"to_out.0",
"proj_in",
"proj_out",
],
rank_dropout=0.0,
module_dropout=0.0,
use_effective_conv2d=True,
)
pipeline = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")
pipeline.unet = get_peft_model(pipeline.unet, config_unet)
pipeline.unet.print_healthcheck()벤치마크 개요
API
LoHaConfig
클래스 peft.LoHaConfig
< source >( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falserank_pattern: Optional[dict] = <factory>alpha_pattern: Optional[dict] = <factory>r: int = 8alpha: int = 8rank_dropout: float = 0.0module_dropout: float = 0.0use_effective_conv2d: bool = Falsetarget_modules: Optional[Union[list[str], str]] = Noneexclude_modules: Optional[Union[list[str], str]] = Noneinit_weights: bool = Truelayers_to_transform: Optional[Union[list[int], int]] = Nonelayers_pattern: Optional[Union[list[str], str]] = Nonemodules_to_save: Optional[list[str]] = None )
매개변수
- r (
int) — LoHa 랭크. - alpha (
int) — LoHa 스케일링에 사용되는 alpha 매개변수입니다. - rank_dropout (
float) — 학습 중 랭크 차원의 드롭아웃 확률입니다. - module_dropout (
float) — 학습 중 LoHa 모듈을 비활성화할 때 사용할 dropout 확률입니다. - use_effective_conv2d (
bool) — ksize > 1인 Conv2d(및 Conv1d)에 대해 effective decomposition 매개변수를 사용합니다(FedPara 논문에서 “Proposition 3”). - target_modules (
Optional[Union[List[str], str]]) — 어댑터를 적용할 모듈의 이름입니다. 이 값이 지정되면, 지정된 이름을 가진 모듈만 교체됩니다. 문자열을 전달하면 정규식 매칭이 수행됩니다. 문자열 목록을 전달하면 정확한 매칭이 수행되거나, 모듈 이름이 전달된 문자열 중 하나로 끝나는지 확인됩니다. 이 값이 ‘all-linear’로 지정되면, 출력 레이어를 제외한 모든 linear/Conv1D 모듈이 선택됩니다. 이 값이 지정되지 않으면, 모델 아키텍처에 따라 모듈이 선택됩니다. 아키텍처가 알려지지 않은 경우 오류가 발생하며, 이 경우 대상 모듈을 수동으로 지정해야 합니다. - exclude_modules (
Optional[Union[List[str], str]]) — 어댑터를 적용하지 않을 모듈의 이름입니다. 문자열을 전달하면 정규식 매칭이 수행됩니다. 문자열 목록을 전달하면 정확한 매칭이 수행되거나, 모듈 이름이 전달된 문자열 중 하나로 끝나는지 확인됩니다. - init_weights (
bool) — 어댑터 가중치 초기화를 수행할지 여부입니다. 기본값은True이며,False를 전달하는 것은 권장되지 않습니다. - layers_to_transform (
Union[List[int], int]) — 변환할 레이어의 인덱스입니다. 정수 목록을 전달하면 이 목록에 지정된 레이어 인덱스에 어댑터를 적용합니다. 단일 정수를 전달하면 해당 인덱스의 레이어에 변환을 적용합니다. - layers_pattern (
Optional[Union[List[str], str]]) —layers_to_transform가None과 다르면만 사용되는 레이어 패턴 이름입니다. 이는 모델의nn.ModuleList를 대상으로 해야 하며, 보통'layers'또는'h'라고 불립니다. - rank_pattern (
dict) —r로 지정된 기본 rank와 다른 rank를 가지는 레이어 이름 또는 정규식 표현식에서 해당 rank로의 매핑입니다. 예를 들어,{'^model.decoder.layers.0.encoder_attn.k_proj': 16}. - alpha_pattern (
dict) —alpha로 지정된 기본 alpha와 다른 alpha를 레이어 이름 또는 정규식 표현으로 매핑합니다. 예를 들어,{'^model.decoder.layers.0.encoder_attn.k_proj': 16}. - modules_to_save (
Optional[List[str]]) — 어댑터 레이어를 제외한 최종 체크포인트에 학습 가능 상태로 설정되고 저장될 모듈 목록.
이것은 LoHaModel의 구성을 저장하기 위한 구성 클래스입니다.
LoHaModel
class peft.LoHaModel
< source >( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None ) → torch.nn.Module
매개변수
- model (
torch.nn.Module) — 어댑터 튜너 레이어가 연결될 모델입니다. - config (LoHaConfig) — LoHa 모델의 구성입니다.
- adapter_name (
str) — 어댑터의 이름이며, 기본값은"default"입니다. - low_cpu_mem_usage (
bool,optional, 기본값False) — 메타 디바이스에 빈 어댑터 가중치를 생성합니다. 로딩 프로세스를 가속하는 데 유용합니다.
반환값
torch.nn.Module
LoHa 모델.
사전 학습된 모델에서 Low-Rank Hadamard Product 모델을 생성합니다. 해당 방법은 https://huggingface.co/papers/2108.06098에 부분적으로 설명되어 있습니다. 현재 구현은 https://github.com/KohakuBlueleaf/LyCORIS/blob/eb460098187f752a5d66406d3affade6f0a07ece/lycoris/modules/loha.py에서 상당 부분 참고했습니다.
예:
>>> from diffusers import StableDiffusionPipeline
>>> from peft import LoHaConfig, get_peft_model
>>> config_te = LoHaConfig(
... r=8,
... alpha=32,
... target_modules=["k_proj", "q_proj", "v_proj", "out_proj", "fc1", "fc2"],
... rank_dropout=0.0,
... module_dropout=0.0,
... init_weights=True,
... )
>>> config_unet = LoHaConfig(
... r=8,
... alpha=32,
... target_modules=[
... "proj_in",
... "proj_out",
... "to_k",
... "to_q",
... "to_v",
... "to_out.0",
... "ff.net.0.proj",
... "ff.net.2",
... ],
... rank_dropout=0.0,
... module_dropout=0.0,
... init_weights=True,
... use_effective_conv2d=True,
... )
>>> model = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")
>>> model.text_encoder = get_peft_model(model.text_encoder, config_te)
>>> model.unet = get_peft_model(model.unet, config_unet)속성:
- model (
~torch.nn.Module) — 적응할 모델. - peft_config (LoHaConfig): LoHa 모델의 구성입니다.