PEFT documentation
PEANuT:基于权重感知神经微调器的参数高效适配
PEANuT:基于权重感知神经微调器的参数高效适配
PEANuT 是一种参数高效微调技术,它引入了权重感知的神经调节器,直接从冻结的预训练权重本身生成适配器更新。与 LoRA 中学习纯线性低秩更新不同,PEANuT 将适配器变换条件化于基础权重之上,这使得更新规则更具表达力,同时保持可训练参数数量较少。
PEANuT 使用输入投影 A、输出投影 B,以及可选的带有非线性激活函数的中间残差编码器/解码器对。这使得它能够在 PEFT 框架内,建模比权重无关线性适配器更复杂的更新模式。
PEANuT 目前存在以下权衡:
优点:
- 比线性低秩更新具有更高的理论表达能力。
- 在类似预算下,在一系列任务上比 LoRA 具有更好的性能。
- 在极低参数规模下表现良好,例如可训练参数约为
0.2M。
缺点:
- 内存占用高于 LoRA,因为
ΔW在应用之前会被显式构建。 - 与 LoRA 相比,训练和推理速度更慢,且更深的中间层会进一步增加开销。
- 非线性可能需要更细致的超参数调优,尤其是学习率及相关优化设置。
如果这些权衡不符合您的使用场景,请考虑其他 PEFT 方法,例如 LoRA。
该论文的摘要如下:
对大型预训练基础模型进行微调通常能带来出色的下游性能,但在更新所有参数时成本高昂。LoRA 等参数高效微调(PEFT)方法通过引入轻量级更新模块来缓解这一问题,但它们通常依赖于与权重无关的线性近似,从而限制了其表达能力。在本工作中,我们提出了 PEANuT,这是一种新颖的 PEFT 框架,引入了权重感知的神经微调器(neural tweakers),即紧凑的神经模块,它们根据冻结的预训练权重生成任务自适应的更新。PEANuT 提供了一种灵活且高效的方式,无需对整个模型进行微调即可捕获复杂的更新模式。我们从理论上证明,PEANuT 在参数数量相当或更少的情况下,其表达能力与现有的线性 PEFT 方法相当或更强。在四个基准测试和二十多个数据集上的大量实验表明,PEANuT 在自然语言处理和视觉任务中始终优于强大的基线模型,同时保持了较低的计算开销。
基准测试概览
API
PeanutConfig
类 peft.PeanutConfig
< source >( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falser: int = 32depth: int = 0act_fn: str = 'relu'scaling: float = 1.0target_modules: Optional[Union[list[str], str]] = Noneexclude_modules: Optional[Union[list[str], str]] = Nonemodules_to_save: Optional[list[str]] = Nonelayers_to_transform: Optional[Union[list[int], int]] = Nonelayers_pattern: Optional[Union[list[str], str]] = Noneinit_weights: bool = True )
参数
- r (
int) — PEANuT 秩。这是适配器使用的隐藏维度。与 LoRA 秩类似,较大的r会增加适配器的容量和可训练参数。 - depth (
int) — PEANuT 中每个编码器/解码器侧的隐藏适配器层数。输入投影A和输出投影B始终存在于这些隐藏层之外。因此,depth必须是非负整数。depth=0:A,B.depth=1:A,一个编码器,一个解码器,B。depth=2:A,两个编码器,两个解码器,B。depth=3:A,三个编码器,三个解码器,B,等等。
- act_fn (
str) — 在 PEANuT 网络中应用的非线性激活函数。这对应于原生 PyTorch 实现中的non_linear。默认值为"relu"。支持transformers.activations.ACT2FN中可用的任何激活键,并且可能在不同的任务上表现更好。 - scaling (
float) — 应用于 PEANuT 输出、在将其加到冻结基础层输出之前的标量乘数。最终的适配器贡献为scaling * (x @ delta_w)。 - target_modules (
Union[List[str], str], 可选) — 要应用 PEANuT 的模块名称。可以是模块名称字符串列表(例如['q_proj', 'v_proj'])或正则表达式模式。 - modules_to_save (
List[str],可选) — 除 PEANuT 层外,需要设置为可训练并在最终检查点中保存的模块列表。 - exclude_modules (
Union[List[str], str], 可选) — 不应用适配器的模块名称。传入字符串时,将执行正则表达式匹配。传入字符串列表时,将执行精确匹配,或检查模块名称是否以传入的任一字符串结尾。 - layers_to_transform (
Union[list[int], int], 可选) — 要转换的层索引。如果指定了此参数,PEFT 将只转换此列表中指定的层索引。如果传入单个整数,PEFT 将只转换该索引处的层。 - layers_pattern (
Optional[Union[List[str], str]], 可选) — 层模式名称,仅在layers_to_transform不为 None 且该层模式不在通用层模式列表中时使用。 - init_weights (
bool) — 是否使用默认初始化方案来初始化 PEANuT 适配器权重:- 如果
True:除B外的所有权重均使用 Kaiming 均匀分布初始化,而B初始化为零。 - 如果
False:所有权重(包括B)均使用 Kaiming 均匀分布进行初始化。
将
B初始化为零,可使适配器在开始时完全不起作用。 - 如果
这是用于存储 PeanutModel 配置的类。
注意事项:
PEANuT 采用权重感知路径,其中增量权重以基础权重为条件。A 适配器应用于基础权重的输出维度,因此 A 的形状为 (out_dim -> r),而非 LoRA 类方法通常使用的 (in_dim -> r)。
PeanutModel
class peft.PeanutModel
< source >( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None ) → torch.nn.Module
参数
- model (
torch.nn.Module) — 要适配的模型。 - config (PeanutConfig) — PEANuT 模型的配置。
- adapter_name (
str) — 适配器的名称,默认为"default"。
返回值
torch.nn.Module
PEANuT PEFT 模型。
从预训练的 transformers 模型创建一个 PEANuT 模型。
该方法的详细描述见 https://arxiv.org/abs/2410.01870。
属性:
- model (PreTrainedModel) — 要适配的模型。
- peft_config (PeanutConfig): PEANuT 模型的配置。