PEFT documentation
TinyLoRA:在 13 个参数中学习推理
TinyLoRA:在 13 个参数中学习推理
TinyLoRA 是一种极其参数高效的微调技术,它在 LoRA-XS 方法的基础上,通过对冻结权重进行 SVD 分解,并利用固定的随机张量投影一个极小的可训练向量来实现。当与 GRPO 等强化学习(RL)训练方法结合使用时,TinyLoRA 仅需 1 到 13 个可训练参数即可实现具有竞争力的性能。
TinyLoRA 的核心创新在于用固定随机投影矩阵的加权和来替代可训练的低秩矩阵 R:R = Σᵢ vᵢ Pᵢ,其中 v ∈ R^u 是一个维度为 u 的极小可训练向量,Pᵢ 是固定的随机矩阵。这大幅减少了可训练参数的数量,同时保持了具有竞争力的性能。
TinyLoRA 通过 weight_tying 参数支持权重绑定,该参数是一个介于 0.0 和 1.0 之间的比率,用于控制有多少个模块共享同一个可训练向量 v。将 weight_tying=0.0(默认值)设置为 0.0 表示不共享,而 weight_tying=1.0 表示在所有目标模块之间完全共享——整个模型仅需一个包含 u 个可训练参数的向量即可实现极致的参数效率。
在保存适配器参数时,可以通过在 TinyLoraConfig 中设置 save_projection=False 来避免存储随机投影矩阵。在这种情况下,这些矩阵将根据 projection_seed 参数中固定的随机种子进行恢复。这可以减小检查点的大小,但我们无法保证在所有设备以及 PyTorch 的所有未来版本上都能实现可复现性。如果您希望确保可复现性,请设置 save_projection=True(这是默认值)。
TinyLoRA 目前存在以下限制:
- 仅支持
nn.Linear、nn.Embedding和transformers.pytorch_utils.Conv1D层。
该论文的摘要如下:
近期研究表明,语言模型能够学会推理,通常是通过强化学习实现的。一些工作甚至针对推理训练低秩参数化,但传统的 LoRA 无法扩展到低于模型维度的规模。我们质疑即使是 rank=1 的 LoRA 对于学习推理是否也是必要的,并提出了 TinyLoRA,一种将低秩适配器扩展到小至单个参数规模的方法。在我们新的参数化框架内,我们仅使用 13 个训练参数(bf16 格式下总计 26 字节),就将 Qwen2.5 的 8B 参数规模模型在 GSM8K 上训练至 91% 的准确率。我们发现这一趋势普遍成立:在 AIME、AMC 和 MATH500 等更具挑战性的学习推理基准测试中,我们仅训练少 1000 倍的参数,就能恢复 90% 的性能提升。值得注意的是,我们仅在使用强化学习时才能实现如此强劲的性能:使用 SFT 训练的模型需要大 100 到 1000 倍的更新才能达到相同的性能。
基准测试概览
API
TinyLoraConfig
类 peft.TinyLoraConfig
< source >( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falser: int = 2u: int = 64weight_tying: float = 0.0projection_seed: int = 42save_projection: bool = Trueinit_v_bound: float = 0.02target_modules: Optional[Union[list[str], str]] = Nonetinylora_dropout: float = 0.0fan_in_fan_out: bool = Falsebias: str = 'none'modules_to_save: Optional[list[str]] = Noneinit_weights: Union[bool, str] = Truelayers_to_transform: Optional[Union[list[int], int]] = Nonelayers_pattern: Optional[Union[list[str], str]] = None )
参数
- r (
int,可选,默认为2) — 冻结的 U、Sigma、V 分解的 SVD 秩。论文建议 r=2。 - u (
int,可选,默认为64) — 每个组的可训练向量维度。这控制着适配的表达能力。为了追求极致的参数效率,该值可以低至 1-13。 - weight_tying (
float, 可选,默认为0.0) — 目标模块之间权重绑定的程度,表示为 0.0 到 1.0 之间的比例。控制有多少个模块共享同一个可训练向量 v。0.0 表示不共享(每个模块拥有自己的 v)。1.0 表示完全共享(所有模块共享同一个 v)。介于两者之间的值表示部分共享。 - projection_seed (
int, 可选, 默认为42) — 用于生成固定投影矩阵 P 的随机种子。 - save_projection (
bool,可选,默认为True) — 是否将投影张量 P 保存到 state dict 中。如果为 False,则在加载时会根据 seed 重新生成它们。 - init_v_bound (
float, 可选,默认为0.02) — 可训练向量 v 的均匀初始化边界。值将在 [-init_v_bound, init_v_bound] 范围内初始化。 - target_modules (
Union[List[str], str], 可选) — 要应用 TinyLoRA 的模块名称。这可以是模块名称列表(例如['q_proj', 'v_proj'])、正则表达式模式(例如'.*decoder.*(q|v)_proj$'),或特殊关键字"all-linear",用于 针对所有线性模块。仅支持nn.Linear、nn.Embedding和transformers.pytorch_utils.Conv1D层。 - tinylora_dropout (
float,可选,默认为0.0) — TinyLoRA 层的 dropout 概率。 - fan_in_fan_out (
bool,可选,默认为False) — 如果待替换的层以 (fan_in, fan_out) 的形式存储权重,请将此项设置为 True。例如,gpt-2 使用的Conv1D就是以 (fan_in, fan_out) 的形式存储权重的。 - bias (
str,可选,默认为"none") — TinyLoRA 的偏置类型。可以是 ‘none’、‘all’ 或 ‘tinylora_only’。 - modules_to_save (
List[str], 可选) — 除 TinyLoRA 层外,需要设置为可训练并保存的模块列表。 - init_weights (
bool|Literal["uniform"],可选,默认为True) — 如何初始化可训练向量 v。传入True(默认值)会将 v 初始化为零,使适配器成为无操作(恒等变换)。传入"uniform"会用[-init_v_bound, init_v_bound]范围内的均匀随机值初始化 v。传入False则保持 v 未初始化(用于高级用例)。 - layers_to_transform (
Union[List[int], int], 可选) — 要转换的层索引。如果指定,则仅适配这些层。 - layers_pattern (
Optional[Union[List[str], str]],可选) — 层模式名称,仅在layers_to_transform不同于None时使用。
这是用于存储 TinyLoraModel 配置的类。
TinyLoRA 是一种基于论文“Learning to Reason in 13 Parameters”(arXiv:2602.04118)的极其参数高效的微调方法。它使用冻结权重的 SVD 分解,并通过固定的随机张量投影一个微小的可训练向量。
论文:https://arxiv.org/abs/2602.04118
示例:
from peft import get_peft_model, TinyLoraConfig
config = TinyLoraConfig(
r=2, # SVD rank (paper recommends 2)
u=64, # Trainable vector dimension
weight_tying=0.0, # No weight tying (0.0 = none, 1.0 = full)
target_modules=["q_proj", "v_proj"],
projection_seed=42,
)
model = get_peft_model(base_model, config)TinyLoraModel
类 peft.TinyLoraModel
< source >( modelconfigadapter_namelow_cpu_mem_usage = False**kwargs ) → torch.nn.Module
参数
- model (PreTrainedModel) — 要适配的模型。
- config (TinyLoraConfig) — TinyLoRA 模型的配置。
- adapter_name (
str) — 适配器的名称,默认为"default"。 - low_cpu_mem_usage (
bool,可选,默认为False) — 在 meta 设备上创建空的适配器权重。有助于加快加载过程。
返回值
torch.nn.Module
TinyLoRA 模型。
从预训练的 transformers 模型创建 TinyLoRA 模型。
TinyLoRA 是一种极其参数高效的微调方法,它利用冻结权重的 SVD 分解,并通过固定的随机张量投影一个微小的可训练向量。该方法基于论文 “Learning to Reason in 13 Parameters”(arXiv:2602.04118)。
示例:
>>> from transformers import AutoModelForCausalLM
>>> from peft import TinyLoraConfig, get_peft_model
>>> base_model = AutoModelForCausalLM.from_pretrained("facebook/opt-125m")
>>> config = TinyLoraConfig(r=2, u=64, target_modules=["q_proj", "v_proj"])
>>> model = get_peft_model(base_model, config)属性:
- model (PreTrainedModel) — 要适配的模型。
- peft_config (TinyLoraConfig): TinyLoRA 模型的配置。
删除适配器并清理模型级别的共享 v 参数。