PEFT documentation

スパース高ランクアダプタ

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

スパース高ランクアダプタ

Sparse High Rank Adapters、略してSHiRAは、アダプターの別の種類であり、低ランクのアダプターと比較して顕著な利点があることが示されています。具体的には、SHiRAは、ビジョンおよび言語のさまざまなタスクにおいて、LoRAよりも高い精度を達成します。また、低ランクのアダプターが直面する一般的な問題である概念損失を大幅に軽減することで、よりシンプルで高品質なマルチアダプター融合を提供します。SHiRAは、ベースモデルのパラメータのうち少数を直接ファインチューニングすることで、任意の適応タスクに対してモデルをファインチューニングします。

SHiRAには現在、以下の制約があります:

  • サポートされているのはnn.Linearレイヤーのみです。

論文の抄録は以下の通りです:

Low Rank Adaptation (LoRA) は、最近の生成AI研究において多大な注目を集めています。LoRAの主な利点の一つは、事前学習済みモデルと融合でき、推論時にオーバーヘッドを追加しないことです。しかし、モバイル展開の観点から見ると、融合モードでは推論オーバーヘッドを回避できますがアダプタの高速切り替えができなくなるか、非融合モードでは高速切り替えを可能にできますが、推論レイテンシが大幅に(最大30%高く)増加するかのどちらかになります。また、LoRAは複数のアダプタを同時に使用する場合に、概念の喪失(concept-loss)を示します。本論文では、推論オーバーヘッドを発生させず、高速切り替えを可能にし、概念の喪失を大幅に軽減する新しいパラダイムであるSparse High Rank Adapters (SHiRA)を提案します。具体的には、SHiRAは、ベースモデルの重みの1〜2%のみを直接チューニングし、他の重みを変更せずに学習できます。これにより、融合モードで直接切り替え可能な、非常にスパースなアダプタが得られます。さらに、SHiRAの高いスパース性が、概念の喪失を軽減することでマルチアダプタ融合をどのように支援するかについて、理論的および実証的な洞察を提供します。LVMおよびLLMにおける広範な実験により、ベースモデルのパラメータのわずかな割合のみをファインチューニングすることで、LoRAを大きく上回る性能を発揮しながら、高速切り替えとマルチアダプタ融合の両方を可能にすることが示されました。最後に、Parameter-Efficient Finetuning (PEFT) Libraryに基づく、レイテンシおよびメモリ効率の高いSHiRAの実装を提供します。この実装は、LoRAとほぼ同じ速度で学習できる一方で、ピークGPUメモリ消費量が最大16%低くなるため、SHiRAを実用的なユースケースに容易に採用できます。推論時の高速切り替えの利点を示すために、CPU上でSHiRAをベースモデルにロードする処理は、LoRAの融合処理よりも5倍から16倍速いことを示します。

ベンチマーク概要

API

ShiraConfig

クラス peft.ShiraConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falser: int = 32mask_type: Literal['random'] = 'random'random_seed: Optional[int] = Nonetarget_modules: Optional[Union[list[str], str]] = Nonefan_in_fan_out: bool = Falseinit_weights: bool = Truemodules_to_save: Optional[list[str]] = None )

パラメータ

  • r (int、任意、デフォルトは32) — 特定のターゲットモジュールに対して、SHiRAのパラメータ数は r(m+n) として計算されます。ここで、元のテンソルの次元は m x n です。つまり、SHiRAのパラメータ数は LoRA アダプターの場合と同じです。SHiRA は高ランクのアダプターです。この r パラメータを設定しても、ランクがこの値に制限されるわけではありません。
  • mask_type (str、デフォルトは random) — マスク関数の種類です。デフォルトでは、ランダムなスパースマスクが使用されます。マスク値を計算するための任意のユーザー定義マスク関数 config = ShiraConfig(...) をインスタンス化し、config.mask_fn = <your custom mask function> を設定することにより、マスク値を計算するための任意のユーザー定義マスク関数も指定できます。形状が m x n の事前学習済み重みに対して、カスタムマスク関数は、線形層の場合、num_shira_parameters = r(m + n) となるバイナリ 0 または 1 のマスク(形状: m x n)を 1 つだけ返す必要があります。マスクのデバイスと dtype は、ベースレイヤーの重みのデバイスと dtype と同じである必要があります。詳細およびデフォルトのランダムスパースマスクの実装については、mask_functions.py を参照してください。
  • random_seed (int、任意、デフォルトはNone) — random_mask用のtorchジェネレータの乱数シード。
  • target_modules (Union[List[str], str]) — SHiRA に置き換えるモジュール名のリスト、またはモジュール名の正規表現です。例えば、[‘q’, ‘v’] または ‘.decoder.(SelfAttention|EncDecAttention).*(q|v)$‘。サポートされるのは線形層のみです。
  • fan_in_fan_out (bool) — 置き換えるレイヤーが重みを (fan_in, fan_out) の形式で保存している場合は、これを True に設定してください。例えば、gpt-2 は重みを (fan_in, fan_out) の形式で保存する Conv1D を使用しているため、これを True に設定する必要があります。
  • init_weights (bool、デフォルトはTrue) — SHiRA の重みをゼロ値で初期化します。False に設定すると、SHiRA の重みはゼロではなく randn 値で初期化され、これはテスト時のみ使用されます。
  • modules_to_save (List[str]) — SHiRAレイヤーを除き、最終チェックポイントで学習可能かつ保存されるように設定するモジュールのリスト。

これはShiraModelの設定を保存するための設定クラスです。

ShiraModel

class peft.ShiraModel

< >

( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None ) → torch.nn.Module

パラメータ

  • model (PreTrainedModel) — 適応させる対象のモデル。
  • config (ShiraConfig) — SHiRAモデルの設定です。
  • adapter_name (str) — アダプターの名前。デフォルトは"default"です。

戻り値

torch.nn.Module

SHiRAモデル。

事前学習済みモデルからSparse High Rank Adapter (SHiRA)モデルを作成します。

例:

>>> from transformers import AutoModelForCausalLM
>>> from peft import ShiraConfig, get_peft_model

>>> base_model = AutoModelForCausalLM.from_pretrained("facebook/opt-125m")
>>> config = ShiraConfig(r=32)
>>> model = get_peft_model(base_model, config)

属性:

Update on GitHub