PEFT documentation
Định dạng checkpoint PEFT
Định dạng checkpoint PEFT
Tài liệu này mô tả cách các tệp checkpoint của PEFT được cấu trúc và cách chuyển đổi giữa định dạng PEFT và các định dạng khác.
Tệp PEFT
Các phương pháp PEFT (fine-tuning hiệu quả tham số) chỉ cập nhật một tập con nhỏ các tham số của mô hình thay vì tất cả. Điều này rất hữu ích vì các tệp checkpoint thường nhỏ hơn đáng kể so với tệp mô hình gốc, giúp việc lưu trữ và chia sẻ dễ dàng hơn. Tuy nhiên, điều này cũng có nghĩa là để tải một mô hình PEFT, bạn cần có sẵn mô hình gốc.
Khi bạn gọi save_pretrained() trên một mô hình PEFT, mô hình PEFT sẽ lưu ba tệp, được mô tả bên dưới:
adapter_model.safetensorshoặcadapter_model.bin
Mặc định, mô hình được lưu ở định dạng safetensors, một phương án thay thế an toàn hơn cho định dạng bin, vốn được biết đến là dễ bị lỗ hổng bảo mật do sử dụng tiện ích pickle bên trong. Tuy nhiên, cả hai định dạng đều lưu trữ cùng một state_dict và có thể thay thế cho nhau.
state_dict chỉ chứa các tham số của module adapter, không bao gồm model gốc. Để minh họa sự khác biệt về kích thước, một model BERT thông thường cần khoảng 420MB dung lượng ổ đĩa, trong khi một adapter IA³ đặt trên model BERT này chỉ cần khoảng 260KB.
adapter_config.json
File adapter_config.json chứa cấu hình của module adapter, cần thiết để tải model. Dưới đây là một ví dụ về adapter_config.json cho một adapter IA³ với các cài đặt chuẩn được áp dụng cho một model BERT:
{
"auto_mapping": {
"base_model_class": "BertModel",
"parent_library": "transformers.models.bert.modeling_bert"
},
"base_model_name_or_path": "bert-base-uncased",
"fan_in_fan_out": false,
"feedforward_modules": [
"output.dense"
],
"inference_mode": true,
"init_ia3_weights": true,
"modules_to_save": null,
"peft_type": "IA3",
"revision": null,
"target_modules": [
"key",
"value",
"output.dense"
],
"task_type": null
}Tệp cấu hình bao gồm:
- loại module adapter được lưu trữ,
"peft_type": "IA3" - thông tin về mô hình cơ sở như
"base_model_name_or_path": "bert-base-uncased" - phiên bản của mô hình (nếu có),
"revision": null
Nếu mô hình cơ sở không phải là một mô hình Transformers đã được huấn luyện trước, hai mục cuối cùng sẽ là null. Ngoài ra, các cài đặt còn lại đều liên quan đến bộ thích ứng IA³ cụ thể đã được sử dụng để tinh chỉnh mô hình.
README.md
README.md được tạo ra là thẻ mô hình của một mô hình PEFT và chứa một số mục đã được điền sẵn. Mục đích của việc này là để dễ dàng chia sẻ mô hình với người khác và cung cấp một số thông tin cơ bản về mô hình. Tệp này không cần thiết để tải mô hình.
Chuyển đổi sang định dạng PEFT
Khi chuyển đổi từ định dạng khác sang định dạng PEFT, chúng ta cần cả tệp adapter_model.safetensors (hoặc adapter_model.bin) và tệp adapter_config.json.
adapter_model
Đối với trọng số mô hình, việc sử dụng ánh xạ chính xác từ tên tham số sang giá trị là rất quan trọng để PEFT có thể tải tệp. Việc thiết lập đúng ánh xạ này là một bài tập kiểm tra các chi tiết triển khai, vì không có định dạng nào được đồng thuận chung cho các bộ thích ứng PEFT.
May mắn thay, việc xác định ánh xạ này không quá phức tạp đối với các trường hợp cơ bản phổ biến. Hãy xem một ví dụ cụ thể, lớp LoraLayer:
# showing only part of the code
class LoraLayer(BaseTunerLayer):
# All names of layers that may contain (trainable) adapter weights
adapter_layer_names = ("lora_A", "lora_B", "lora_embedding_A", "lora_embedding_B")
# All names of other parameters that may contain adapter-related parameters
other_param_names = ("r", "lora_alpha", "scaling", "lora_dropout")
def __init__(self, base_layer: nn.Module, **kwargs) -> None:
self.base_layer = base_layer
self.r = {}
self.lora_alpha = {}
self.scaling = {}
self.lora_dropout = nn.ModuleDict({})
self.lora_A = nn.ModuleDict({})
self.lora_B = nn.ModuleDict({})
# For Embedding layer
self.lora_embedding_A = nn.ParameterDict({})
self.lora_embedding_B = nn.ParameterDict({})
# Mark the weight as unmerged
self._disable_adapters = False
self.merged_adapters = []
self.use_dora: dict[str, bool] = {}
self.lora_magnitude_vector: Optional[torch.nn.ParameterDict] = None # for DoRA
self._caches: dict[str, Any] = {}
self.kwargs = kwargsTrong mã __init__ được sử dụng bởi tất cả các lớp LoraLayer trong PEFT, có một loạt các tham số được dùng để khởi tạo mô hình, nhưng chỉ một vài tham số là liên quan đến tệp checkpoint: lora_A, lora_B, lora_embedding_A và lora_embedding_B. Các tham số này được liệt kê trong thuộc tính lớp adapter_layer_names và chứa các tham số có thể học, do đó chúng phải được bao gồm trong tệp checkpoint. Tất cả các tham số khác, chẳng hạn như rank r, được suy ra từ adapter_config.json và phải được bao gồm trong tệp đó (trừ khi giá trị mặc định được sử dụng).
Hãy kiểm tra state_dict của một mô hình PEFT LoRA được áp dụng cho BERT. Khi in ra năm khóa đầu tiên bằng các cài đặt LoRA mặc định (các khóa còn lại giống hệt nhau, chỉ khác số thứ tự lớp), ta có:
base_model.model.encoder.layer.0.attention.self.query.lora_A.weightbase_model.model.encoder.layer.0.attention.self.query.lora_B.weightbase_model.model.encoder.layer.0.attention.self.value.lora_A.weightbase_model.model.encoder.layer.0.attention.self.value.lora_B.weightbase_model.model.encoder.layer.1.attention.self.query.lora_A.weight- v.v.
Hãy phân tích điều này:
- Mặc định, đối với các mô hình BERT, LoRA được áp dụng cho các lớp
queryvàvaluecủa module attention. Đây là lý do bạn thấyattention.self.queryvàattention.self.valuetrong tên khóa của từng lớp. - LoRA phân rã trọng số thành hai ma trận hạng thấp,
lora_Avàlora_B. Đây là nguồn gốc củalora_Avàlora_Btrong các tên khóa. - Các ma trận LoRA này được triển khai dưới dạng các lớp
nn.Linear, do đó các tham số được lưu trữ trong thuộc tính.weight(lora_A.weight,lora_B.weight). - Mặc định, LoRA không được áp dụng cho lớp nhúng của BERT, do đó không có mục nào cho
lora_A_embeddingvàlora_B_embedding. - Các khóa của
state_dictluôn bắt đầu bằng"base_model.model.". Lý do là trong PEFT, chúng ta bọc mô hình cơ sở bên trong một mô hình cụ thể cho bộ điều chỉnh (LoraModeltrong trường hợp này), và bản thân mô hình đó lại được bọc trong một mô hình PEFT chung (PeftModel). Vì lý do này, hai tiền tố đó được thêm vào các khóa. Khi chuyển đổi sang định dạng PEFT, việc thêm các tiền tố này là bắt buộc.
Điểm cuối cùng này không đúng với các kỹ thuật điều chỉnh tiền tố như prompt tuning. Ở đó, các embedding bổ sung được lưu trữ trực tiếp trong
state_dictmà không thêm bất kỳ tiền tố nào vào các khóa.
Khi kiểm tra tên các tham số trong mô hình đã tải, bạn có thể ngạc nhiên khi thấy chúng trông hơi khác, ví dụ base_model.model.encoder.layer.0.attention.self.query.lora_A.default.weight. Sự khác biệt nằm ở phần .default trong đoạn thứ hai từ cuối. Phần này tồn tại vì PEFT thường cho phép thêm nhiều adapter cùng lúc (sử dụng nn.ModuleDict hoặc nn.ParameterDict để lưu trữ chúng). Ví dụ, nếu bạn thêm một adapter khác có tên “other”, khóa cho adapter đó sẽ là base_model.model.encoder.layer.0.attention.self.query.lora_A.other.weight.
Khi bạn gọi save_pretrained(), tên adapter sẽ bị loại bỏ khỏi các khóa. Lý do là tên adapter không phải là một phần quan trọng của kiến trúc mô hình; nó chỉ là một tên tùy ý. Khi nạp adapter, bạn có thể chọn một tên hoàn toàn khác và mô hình vẫn sẽ hoạt động giống hệt nhau. Đây là lý do tại sao tên adapter không được lưu trong tệp checkpoint.
Nếu bạn gọi
save_pretrained("some/path")và tên adapter không phải là"default", adapter sẽ được lưu trong một thư mục con có cùng tên với adapter. Vì vậy, nếu tên là “other”, nó sẽ được lưu bên trongsome/path/other.
Trong một số trường hợp, việc quyết định giá trị nào cần thêm vào tệp checkpoint có thể trở nên phức tạp hơn một chút. Ví dụ, trong PEFT, DoRA được triển khai như một trường hợp đặc biệt của LoRA. Nếu bạn muốn chuyển đổi một mô hình DoRA sang PEFT, bạn nên tạo một checkpoint LoRA với các mục bổ sung cho DoRA. Bạn có thể thấy điều này trong __init__ của mã LoraLayer trước đó:
self.lora_magnitude_vector: Optional[torch.nn.ParameterDict] = None # for DoRAĐiều này cho thấy có một tham số bổ sung tùy chọn cho mỗi lớp đối với DoRA.
adapter_config
Tất cả các thông tin khác cần thiết để tải một mô hình PEFT đều được chứa trong tệp adapter_config.json. Hãy kiểm tra tệp này cho một mô hình LoRA được áp dụng cho BERT:
{
"alpha_pattern": {},
"auto_mapping": {
"base_model_class": "BertModel",
"parent_library": "transformers.models.bert.modeling_bert"
},
"base_model_name_or_path": "bert-base-uncased",
"bias": "none",
"fan_in_fan_out": false,
"inference_mode": true,
"init_lora_weights": true,
"layer_replication": null,
"layers_pattern": null,
"layers_to_transform": null,
"loftq_config": {},
"lora_alpha": 8,
"lora_dropout": 0.0,
"megatron_config": null,
"megatron_core": "megatron.core",
"modules_to_save": null,
"peft_type": "LORA",
"r": 8,
"rank_pattern": {},
"revision": null,
"target_modules": [
"query",
"value"
],
"task_type": null,
"use_dora": false,
"use_rslora": false
}Phần này chứa rất nhiều mục, và thoạt nhìn, việc xác định tất cả các giá trị phù hợp để đưa vào có thể gây choáng ngợp. Tuy nhiên, hầu hết các mục không cần thiết để tải mô hình. Điều này là do chúng sử dụng các giá trị mặc định và không cần được thêm vào, hoặc chúng chỉ ảnh hưởng đến việc khởi tạo trọng số LoRA, điều không liên quan khi tải mô hình. Nếu bạn không biết một tham số cụ thể làm gì, ví dụ "use_rslora", thì đừng thêm nó vào, và bạn sẽ không gặp vấn đề gì. Ngoài ra, hãy lưu ý rằng khi có thêm nhiều tùy chọn, tệp này sẽ có thêm nhiều mục trong tương lai, nhưng nó vẫn nên tương thích ngược.
Tối thiểu, bạn nên bao gồm các mục sau:
{
"target_modules": ["query", "value"],
"peft_type": "LORA"
}Tuy nhiên, việc thêm càng nhiều mục càng tốt, chẳng hạn như rank r hoặc base_model_name_or_path (nếu đó là một model của Transformers) là được khuyến nghị. Thông tin này có thể giúp người khác hiểu rõ hơn về model và dễ dàng chia sẻ nó hơn. Để kiểm tra các key và value được kỳ vọng, hãy xem file config.py (ví dụ, đây là file config cho LoRA) trong mã nguồn PEFT.
Lưu trữ mô hình
Trong một số trường hợp, bạn có thể muốn lưu trữ toàn bộ mô hình PEFT, bao gồm cả trọng số cơ sở. Điều này có thể là cần thiết nếu, chẳng hạn, mô hình cơ sở không khả dụng đối với người dùng đang cố gắng tải mô hình PEFT. Bạn có thể gộp các trọng số trước hoặc chuyển đổi nó thành một mô hình Transformer.
Gộp các trọng số
Cách đơn giản nhất để lưu trữ toàn bộ mô hình PEFT là gộp trọng số adapter vào trọng số cơ sở:
merged_model = model.merge_and_unload() merged_model.save_pretrained(...)
Tuy nhiên, cách tiếp cận này có một số nhược điểm:
- Một khi merge_and_unload() được gọi, bạn sẽ nhận được một mô hình cơ bản không còn bất kỳ chức năng nào đặc thù của PEFT. Điều này có nghĩa là bạn không thể sử dụng bất kỳ phương pháp nào đặc thù của PEFT nữa.
- Bạn không thể tách các trọng số, nạp nhiều adapter cùng lúc, vô hiệu hóa adapter, v.v.
- Không phải tất cả các phương pháp PEFT đều hỗ trợ gộp trọng số.
- Một số phương pháp PEFT có thể cho phép gộp (merge) nói chung, nhưng không phải với mọi cài đặt cụ thể (ví dụ: khi sử dụng một số kỹ thuật lượng tử hóa nhất định).
- Toàn bộ mô hình sẽ lớn hơn nhiều so với mô hình PEFT, vì nó sẽ bao gồm tất cả các trọng số cơ sở.
Tuy nhiên, suy luận với một mô hình đã hợp nhất nên nhanh hơn một chút.
Chuyển đổi thành một mô hình Transformers
Một cách khác để lưu toàn bộ mô hình, giả sử mô hình cơ sở là một mô hình Transformers, là sử dụng cách tiếp cận hacky này để chèn trực tiếp trọng số PEFT vào mô hình cơ sở và lưu nó, điều này chỉ hoạt động nếu bạn “đánh lừa” Transformers để tin rằng mô hình PEFT không phải là một mô hình PEFT. Cách này chỉ hoạt động với LoRA vì các adapter khác không được triển khai trong Transformers.
model = ... # the PEFT model
...
# after you finish training the model, save it in a temporary location
model.save_pretrained(<temp_location>)
# now load this model directly into a transformers model, without the PEFT wrapper
# the PEFT weights are directly injected into the base model
model_loaded = AutoModel.from_pretrained(<temp_location>)
# now make the loaded model believe that it is _not_ a PEFT model
model_loaded._hf_peft_config_loaded = False
# now when we save it, it will save the whole model
model_loaded.save_pretrained(<final_location>)
# or upload to Hugging Face Hub
model_loaded.push_to_hub(<final_location>)