PEFT documentation
Song song dữ liệu phân mảnh hoàn toàn
Song song dữ liệu phân mảnh hoàn toàn
Fully sharded data parallel (FSDP) được phát triển để huấn luyện phân tán các mô hình được huấn luyện trước lớn lên đến 1T tham số. FSDP đạt được điều này bằng cách chia nhỏ (sharding) các tham số mô hình, gradient và trạng thái optimizer trên các tiến trình song song dữ liệu, đồng thời có thể chuyển (offload) các tham số mô hình đã chia nhỏ sang CPU. Hiệu quả sử dụng bộ nhớ mà FSDP mang lại cho phép bạn mở rộng quy mô huấn luyện lên các kích thước batch hoặc mô hình lớn hơn.
PEFT hỗ trợ FSDP1 và PyTorch FSDP2. Bạn có thể cấu hình FSDP thông qua Trainer của Transformers hoặc sử dụng trực tiếp trong vòng lặp huấn luyện PyTorch.
FSDP2 với Transformers
Sử dụng PyTorch 2.6 trở lên và các phiên bản hiện tại của Transformers, Accelerate, TRL và PEFT. Ví dụ SFT sử dụng SFTTrainer. Dưới đây là một cấu hình FSDP2 điển hình:
{
"fsdp": true,
"fsdp_config": {
"version": 2,
"reshard_after_forward": true,
"auto_wrap_policy": "TRANSFORMER_BASED_WRAP",
"cpu_ram_efficient_loading": true,
"state_dict_type": "SHARDED_STATE_DICT",
"activation_checkpointing": false
}
}TRANSFORMER_BASED_WRAP sử dụng định nghĩa lớp transformer của mô hình. reshard_after_forward giải phóng các tham số đã được thu thập sau mỗi lần truyền tiến. FSDP2 chia nhỏ từng tham số riêng lẻ, do đó không sử dụng cài đặt use_orig_params của FSDP1. Xem hướng dẫn FSDP cho Transformers để biết thêm các tùy chọn cấu hình.
Chỉnh sửa model, dataset và các tùy chọn huấn luyện trong fsdp2_config.json của ví dụ. Từ examples/sft, khởi chạy một tiến trình cho mỗi GPU:
torchrun --standalone --nproc_per_node=2 train.py configs/fsdp2_config.json
Trên các GPU không hỗ trợ BF16, hãy đặt "bf16": false và "fp16": true trong tệp JSON.
Với các phiên bản PEFT trước v0.22, hãy giữ activation_checkpointing được đặt thành false để tránh xuất adapter rỗng. PEFT v0.22 bao gồm sửa lỗi xuất adapter.
Lưu và tiếp tục
Để tiếp tục huấn luyện, giữ nguyên cấu hình FSDP và đặt "resume_from_checkpoint": "path/to/checkpoint-N" trong tệp JSON. Các checkpoint huấn luyện chứa trạng thái mô hình và optimizer đã được chia mảnh.
Vào cuối quá trình huấn luyện, ví dụ thu thập một từ điển trạng thái đầy đủ trước khi xuất adapter:
if trainer.is_fsdp_enabled:
trainer.accelerator.state.fsdp_plugin.set_state_dict_type("FULL_STATE_DICT")
trainer.save_model()Tất cả các rank phải tham gia vào quá trình gather; chỉ tiến trình chính mới ghi các tệp adapter. Việc thu thập toàn bộ state dictionary sẽ làm tăng mức sử dụng bộ nhớ tạm thời.
Để suy luận, hãy tải adapter đã xuất:
import torch
from peft import AutoPeftModelForCausalLM
model = AutoPeftModelForCausalLM.from_pretrained("qwen-sft-lora-fsdp2", dtype=torch.float32)Nếu quá trình SFT đã thêm các token làm tăng kích thước embeddings của mô hình cơ sở, hãy khớp kích thước embeddings tại thời điểm huấn luyện trước khi nạp adapter. Ví dụ SFT đệm các embeddings đã tăng lên thành bội số của 8:
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftConfig, PeftModel
adapter_path = "qwen-sft-lora-fsdp2"
config = PeftConfig.from_pretrained(adapter_path)
tokenizer = AutoTokenizer.from_pretrained(adapter_path)
base_model = AutoModelForCausalLM.from_pretrained(config.base_model_name_or_path, dtype=torch.float32)
# Match the SFT example: grow the embeddings if needed, but never shrink them.
if len(tokenizer) > base_model.get_input_embeddings().num_embeddings:
base_model.resize_token_embeddings(len(tokenizer), pad_to_multiple_of=8)
model = PeftModel.from_pretrained(base_model, adapter_path)FSDP1 với Accelerate
Phần này sử dụng script huấn luyện SFT để tinh chỉnh Llama-70B với LoRA và FSDP1 trên 8 GPU H100 80GB trên một máy duy nhất. Bạn có thể mở rộng sang nhiều máy bằng cách thay đổi cấu hình Accelerate.
Cấu hình
Bắt đầu bằng cách chạy lệnh sau để tạo tệp cấu hình FSDP với 🤗 Accelerate. Cờ --config_file cho phép bạn lưu tệp cấu hình vào một vị trí cụ thể, nếu không nó sẽ được lưu dưới dạng tệp default_config.yaml trong bộ nhớ đệm của 🤗 Accelerate.
File cấu hình được sử dụng để thiết lập các tùy chọn mặc định khi bạn khởi chạy script huấn luyện.
accelerate config --config_file fsdp_config.yaml
Bạn sẽ được hỏi một vài câu hỏi về cấu hình của mình và thiết lập các đối số sau. Trong ví dụ này, bạn sẽ trả lời bảng câu hỏi như hình bên dưới.

Sau khi hoàn tất, cấu hình tương ứng sẽ có dạng như bên dưới và bạn có thể tìm thấy nó trong thư mục config tại fsdp_config.yaml:
compute_environment: LOCAL_MACHINE
debug: false
distributed_type: FSDP
downcast_bf16: 'no'
fsdp_config:
fsdp_version: 1
fsdp_auto_wrap_policy: TRANSFORMER_BASED_WRAP
fsdp_backward_prefetch: BACKWARD_PRE
fsdp_cpu_ram_efficient_loading: true
fsdp_forward_prefetch: false
fsdp_offload_params: false
fsdp_sharding_strategy: FULL_SHARD
fsdp_state_dict_type: SHARDED_STATE_DICT
fsdp_sync_module_states: true
fsdp_use_orig_params: false
machine_rank: 0
main_training_function: main
mixed_precision: bf16
num_machines: 1
num_processes: 8
rdzv_backend: static
same_network: true
tpu_env: []
tpu_use_cluster: false
tpu_use_sudo: false
use_cpu: falseLệnh khởi động
Lệnh khởi động có sẵn tại run_peft_fsdp.sh và cũng được hiển thị bên dưới:
accelerate launch --config_file "configs/fsdp_config.yaml" train.py \
--seed 100 \
--model_name_or_path "meta-llama/Llama-2-70b-hf" \
--dataset_name "smangrul/ultrachat-10k-chatml" \
--chat_template_format "chatml" \
--add_special_tokens False \
--append_concat_token False \
--splits "train,test" \
--max_length 2048 \
--num_train_epochs 1 \
--logging_steps 5 \
--log_level "info" \
--logging_strategy "steps" \
--eval_strategy "epoch" \
--save_strategy "epoch" \
--push_to_hub \
--hub_private_repo True \
--hub_strategy "every_save" \
--bf16 True \
--packing True \
--learning_rate 1e-4 \
--lr_scheduler_type "cosine" \
--weight_decay 1e-4 \
--warmup_steps 0 \
--max_grad_norm 1.0 \
--output_dir "llama-sft-lora-fsdp" \
--per_device_train_batch_size 8 \
--per_device_eval_batch_size 8 \
--gradient_accumulation_steps 4 \
--gradient_checkpointing True \
--use_reentrant False \
--dataset_text_field "content" \
--use_flash_attn True \
--use_peft_lora True \
--lora_r 8 \
--lora_alpha 16 \
--lora_dropout 0.1 \
--lora_target_modules "all-linear" \
--use_4bit_quantization FalseLưu ý rằng chúng ta đang sử dụng LoRA với rank=8, alpha=16 và nhắm vào tất cả các lớp tuyến tính. Chúng ta đang truyền tệp cấu hình FSDP và tinh chỉnh mô hình Llama 70B trên một tập con của ultrachat dataset.
Các phần quan trọng
Hãy cùng tìm hiểu sâu hơn về script để bạn có thể thấy những gì đang diễn ra và hiểu cách nó hoạt động.
Điều đầu tiên cần biết là script sử dụng FSDP cho huấn luyện phân tán vì cấu hình FSDP đã được truyền vào. Lớp SFTTrainer xử lý toàn bộ công việc tạo mô hình PEFT bằng cách sử dụng cấu hình peft được truyền vào. Sau đó, khi bạn gọi trainer.train(), Trainer bên trong sẽ sử dụng 🤗 Accelerate để chuẩn bị mô hình, optimizer và trainer bằng cách sử dụng cấu hình FSDP để tạo mô hình được bọc FSDP, sau đó tiến hành huấn luyện. Đoạn mã chính được trình bày bên dưới:
# trainer
trainer = SFTTrainer(
model=model,
processing_class=tokenizer,
args=training_args,
train_dataset=train_dataset,
eval_dataset=eval_dataset,
peft_config=peft_config,
)
trainer.accelerator.print(f"{trainer.model}")
if hasattr(trainer.model, "print_healthcheck"):
trainer.model.print_healthcheck()
# train
checkpoint = None
if training_args.resume_from_checkpoint is not None:
checkpoint = training_args.resume_from_checkpoint
trainer.train(resume_from_checkpoint=checkpoint)
# saving final model
if trainer.is_fsdp_enabled:
trainer.accelerator.state.fsdp_plugin.set_state_dict_type("FULL_STATE_DICT")
trainer.save_model()Với FSDP1, use_orig_params=False giúp giảm mức sử dụng bộ nhớ bằng cách bọc riêng các tham số có thể huấn luyện và các tham số đã đóng băng. Trainer của Transformers hiện tại cài đặt fsdp_auto_wrap_policy của PEFT cho trường hợp này; ví dụ không cần phải thiết lập thủ công. Vòng lặp huấn luyện FSDP1 tùy chỉnh của Accelerate phải thiết lập chính sách đó trước khi chuẩn bị mô hình. Yêu cầu bọc tham số phẳng này không áp dụng cho FSDP2.
Lượng bộ nhớ sử dụng
Trong ví dụ trên, bộ nhớ tiêu thụ trên mỗi GPU là 72-80 GB (90-98%) như được thấy trong ảnh chụp màn hình bên dưới. Sự tăng nhẹ bộ nhớ GPU ở cuối là khi lưu mô hình bằng loại state dict FULL_STATE_DICT thay vì SHARDED_STATE_DICT để mô hình có trọng số adapter có thể được nạp bình thường bằng phương thức from_pretrained trong quá trình suy luận:

FSDP1 với QLoRA
Trong phần này, chúng ta sẽ xem xét cách sử dụng QLoRA và FSDP để tinh chỉnh mô hình llama 70B trên 2 GPU 24GB. Answer.AI phối hợp với bitsandbytes và Hugging Face 🤗 đã mã nguồn mở mã cho phép sử dụng FSDP+QLoRA và giải thích toàn bộ quy trình trong bài blog sâu sắc Bây giờ bạn có thể huấn luyện một mô hình ngôn ngữ 70b tại nhà. Tính năng này hiện đã được tích hợp vào hệ sinh thái Hugging Face.
Sử dụng PEFT, Transformers, TRL và Accelerate hiện tại với bitsandbytes>=0.43.3. Đối với cấu hình FSDP1 này, đặt fsdp_cpu_ram_efficient_loading=true, fsdp_use_orig_params=false và fsdp_offload_params=true (CPU offloading). Cấu hình có sẵn tại fsdp_config_qlora.yaml:
compute_environment: LOCAL_MACHINE
debug: false
distributed_type: FSDP
downcast_bf16: 'no'
fsdp_config:
fsdp_version: 1
fsdp_auto_wrap_policy: TRANSFORMER_BASED_WRAP
fsdp_backward_prefetch: BACKWARD_PRE
fsdp_cpu_ram_efficient_loading: true
fsdp_forward_prefetch: false
fsdp_offload_params: true
fsdp_sharding_strategy: FULL_SHARD
fsdp_state_dict_type: SHARDED_STATE_DICT
fsdp_sync_module_states: true
fsdp_use_orig_params: false
machine_rank: 0
main_training_function: main
mixed_precision: 'no'
num_machines: 1
num_processes: 2
rdzv_backend: static
same_network: true
tpu_env: []
tpu_use_cluster: false
tpu_use_sudo: false
use_cpu: falseLệnh khởi động được cung cấp bên dưới, có sẵn tại run_peft_qlora_fsdp.sh:
accelerate launch --config_file "configs/fsdp_config_qlora.yaml" train.py \
--seed 100 \
--model_name_or_path "meta-llama/Llama-2-70b-hf" \
--dataset_name "smangrul/ultrachat-10k-chatml" \
--chat_template_format "chatml" \
--add_special_tokens False \
--append_concat_token False \
--splits "train,test" \
--max_length 2048 \
--num_train_epochs 1 \
--logging_steps 5 \
--log_level "info" \
--logging_strategy "steps" \
--eval_strategy "epoch" \
--save_strategy "epoch" \
--push_to_hub \
--hub_private_repo True \
--hub_strategy "every_save" \
--bf16 True \
--packing True \
--learning_rate 1e-4 \
--lr_scheduler_type "cosine" \
--weight_decay 1e-4 \
--warmup_steps 0 \
--max_grad_norm 1.0 \
--output_dir "llama-sft-qlora-fsdp" \
--per_device_train_batch_size 2 \
--per_device_eval_batch_size 2 \
--gradient_accumulation_steps 2 \
--gradient_checkpointing True \
--use_reentrant True \
--dataset_text_field "content" \
--use_flash_attn True \
--use_peft_lora True \
--lora_r 8 \
--lora_alpha 16 \
--lora_dropout 0.1 \
--lora_target_modules "all-linear" \
--use_4bit_quantization True \
--use_nested_quant True \
--bnb_4bit_compute_dtype "bfloat16" \
--bnb_4bit_quant_storage_dtype "bfloat16"Chú ý đến đối số mới được truyền vào, bnb_4bit_quant_storage_dtype, dùng để chỉ định kiểu dữ liệu cho việc đóng gói các tham số 4-bit. Ví dụ, khi được đặt thành bfloat16, 16/4 = 4 tham số 4-bit sẽ được đóng gói cùng nhau sau khi lượng tử hóa. Khi sử dụng huấn luyện độ chính xác hỗn hợp với bfloat16, bnb_4bit_quant_storage_dtype có thể là bfloat16 cho fine-tuning thuần bfloat16, hoặc float32 cho độ chính xác hỗn hợp tự động (cách này tiêu thụ nhiều bộ nhớ GPU hơn). Khi sử dụng huấn luyện độ chính xác hỗn hợp với float16, bnb_4bit_quant_storage_dtype nên được đặt thành float32 để huấn luyện độ chính xác hỗn hợp tự động ổn định.
Về mã huấn luyện, các thay đổi mã quan trọng là:
...
bnb_config = BitsAndBytesConfig(
load_in_4bit=args.use_4bit_quantization,
bnb_4bit_quant_type=args.bnb_4bit_quant_type,
bnb_4bit_compute_dtype=compute_dtype,
bnb_4bit_use_double_quant=args.use_nested_quant,
+ bnb_4bit_quant_storage=quant_storage_dtype,
)
...
model = AutoModelForCausalLM.from_pretrained(
args.model_name_or_path,
quantization_config=bnb_config,
trust_remote_code=True,
attn_implementation="flash_attention_2" if args.use_flash_attn else "eager",
+ dtype=quant_storage_dtype or torch.float32,
)Lưu ý rằng dtype của AutoModelForCausalLM giống với kiểu dữ liệu bnb_4bit_quant_storage. Đó là tất cả. Mọi thứ còn lại được xử lý bởi Trainer và TRL.
Lượng bộ nhớ sử dụng
Trong ví dụ trên, bộ nhớ tiêu thụ trên mỗi GPU là 19.6 GB trong khi mức sử dụng RAM CPU vào khoảng 107 GB. Khi tắt tính năng offload CPU, mức sử dụng bộ nhớ GPU là 35.6 GB/ GPU. Do đó, điều mà trước đây cần 16 GPU 80GB để finetuning toàn bộ, 8 GPU 80GB với FSDP+LoRA, và một vài GPU 80GB với DDP+QLoRA, giờ chỉ cần 2 GPU 24GB. Điều này giúp việc finetuning các mô hình lớn trở nên dễ tiếp cận hơn.
Tài nguyên bổ sung
Bạn cũng có thể tham khảo repo llama-recipes và hướng dẫn Getting started with Llama về cách finetune bằng FSDP và PEFT.
Lưu ý
- Với FSDP1 (tích hợp FSDP của Accelerate được sử dụng ở trên), thao tác gộp không được hỗ trợ và sẽ gây ra lỗi. Với FSDP2 (
fully_shard),merge_adapter()vàunmerge_adapter()có thể truy cập các tham số đã chia nhỏ: việc gộp LoRA thông thường (bao gồm cảsafe_merge) trên các lớp cơ bảnLinear,Embeddingvà tích chập hoạt động bình thường, tương tự như DoRA và (IA)^3 trênLinear. Các adapter hoặc tổ hợp lớp khác không được các phương pháp này bao phủ và có thể gây ra lỗi hoặc thất bại im lặng khi gộp, do đó hãy kiểm tra kết quả trước khi dựa vào nó. Một ví dụ đã biết là một lớp DoRA màbase_layercủa nó được bọc bởi một module FSDP2 riêng, điều này sẽ gây ra lỗi. - Việc truyền tham số cấu hình
modules_to_savehiện chưa được kiểm thử. - Việc tiết kiệm bộ nhớ GPU khi sử dụng CPU Offloading hiện tại chưa được kiểm tra.
- Khi sử dụng FSDP+QLoRA,
paged_adamw_8bithiện gây ra lỗi khi lưu checkpoint. - Huấn luyện DoRA với FSDP nên hoạt động (mặc dù tốc độ thấp hơn so với LoRA). Nếu kết hợp với bitsandbytes (QDoRA), lượng tử hóa 4-bit cũng nên hoạt động, nhưng lượng tử hóa 8-bit có các vấn đề đã biết và không được khuyến nghị.
- Với FSDP2,
set_adapter()vàset_requires_grad()sẽ reshard các module FSDP2 bên trong PeftModel, bao gồm cả chínhPeftModel, để đảm bảo các thay đổi củarequires_gradđược truyền đến các tham số đã được chia nhỏ (sharded). - Việc thoát khỏi
disable_adapter()chỉ diễn ra nếu FSDP2 đã thay thế các đối số tham số đã đăng ký bên trong nó, giống như một forward thực hiện với các tham số phân mảnh, hoặc nếu việc bật lại làm thay đổirequires_gradso với giá trị ban đầu khi vào hàm. merge_adapter()vàunmerge_adapter()cũng thực hiện reshard các module FSDP2, để thao tác merge và unmerge có thể tiếp cận các tham số đã được chia; nếu không có reshard, một thao tác merge sẽ kết thúc trên các tham số chưa được chia mà một lần forward đã đăng ký, và lần reshard tiếp theo sẽ loại bỏ chúng. Bản thân thao tác merge được ghi tại chỗ vào các tham số đã được chia.- Các module FSDP2 chia nhỏ (shard) các tham số của một lớp adapter đã gộp (merged) sẽ không được chia nhỏ lại (reshard) bởi
set_adapter()vàset_requires_grad(), do đó hãy tách gộp (unmerge) trước khi gọi các phương thức này. Việc vàodisable_adapter()dưới FSDP2 sẽ tự động tách gộp các lớp đã gộp, để việc tách gộp có thể tiếp cận các tham số đã chia nhỏ; do đó, trạng thái gộp sẽ không được duy trì qua ngữ cảnh. - Với
reshard_after_forward=False, hoặc với module gốc có giá trị mặc định làNone, bước forward tiếp theo sẽ thực hiện all-gather một lần nữa. - Các module FSDP2 bọc
PeftModelkhông được reshard; hãy gọireshard()trên chúng trước các phương thức này. - Các phương pháp học prompt và prompt thích ứng chưa được đề cập.
- Với FSDP2/HSDP, hãy gọi
get_peft_model_state_dict()hoặcsave_pretrained()trên mọi rank tham gia: việc thu thập các tensor adapter phân tán là một thao tác tập thể. Đối vớisave_pretrained(), chỉ truyềnis_main_process=Truetrên rank thực hiện ghi. Chỉ các mục adapter được chọn (bao gồm các embedding được yêu cầu rõ ràng hoặcmodules_to_save) sẽ được thu thập; trọng lượng của mô hình cơ sở không được chọn vẫn được chia nhỏ.