TRL documentation
A2PO
A2PO
TRL, Kianté Brantley, Mingyu Chen, Zhaolin Gao, Jason D. Lee, Wen Sun, Wenhao Zhan ve Xuezhou Zhang'ın Accelerating RL for LLM Reasoning with Optimal Advantage Regression makalesinde tanımlanan A*-PO (Optimal Advantage Regression) yöntemini destekler.
Makalenin özeti aşağıdaki gibidir:
Pekiştirmeli öğrenme (RL), karmaşık akıl yürütme yeteneklerini geliştirmek için büyük dil modellerinin (LLM) ince ayarında güçlü bir araç olarak öne çıkmıştır. Ancak, son teknoloji politika optimizasyonu yöntemleri, genellikle her istem için birden fazla üretim gereksinimi ve mevcut politikanın eleştirmen ağlarına veya avantaj tahminlerine bağımlılığı nedeniyle yüksek hesaplama yükü ve bellek tüketiminden muzdariptir. Bu makalede, A*-PO'yu öneriyoruz; bu, doğrudan optimal avantaj fonksiyonunu yaklaşık olarak hesaplayan ve akıl yürütme görevleri için LLM'lerin verimli eğitimini sağlayan yeni bir iki aşamalı politika optimizasyon çerçevesidir. Birinci aşamada, referans politikadan çevrimdışı örneklemeyi kullanarak optimal değer fonksiyonu V*'yi tahmin ediyor ve maliyetli çevrimiçi değer tahmini ihtiyacını ortadan kaldırıyoruz. İkinci aşamada, her istem için yalnızca tek bir üretimle basit bir en küçük kareler regresyon kaybı kullanarak politika içi güncellemeler yapıyoruz. Teorik olarak, performans garantileri kuruyor ve karmaşık keşif stratejileri gerektirmeden KL-düzenlenmiş RL hedefinin optimize edilebileceğini kanıtlıyoruz. Deneysel olarak, A*-PO, geniş bir matematiksel akıl yürütme ölçüm seti yelpazesinde rekabetçi performans elde ederken, PPO, GRPO ve REBEL ile karşılaştırıldığında eğitim süresini 2 katına kadar ve tepe bellek kullanımını %30'dan fazla azaltmaktadır.
Kullanım
A*-PO, ikili ve doğrulanabilir bir ödül (r ∈ {0, 1}) varsayar ve iki aşamada çalışır:
- Çevrimdışı değer tahmini. Eğitimden önce, her istem için referans politika tarafından
num_value_samplestamamlama örneklenir vereward_funcsile puanlanır. Optimal değerV*(x) = β₁·log(mean_i exp(r(x, yᵢ)/β₁))istem başına tahmin edilir ve önbelleğe alınır. - Politika üzerinde regresyon. Eğitim sırasında, mevcut politikadan her istem için tek bir tamamlama üretilir. Kayıp, örtük ödül
β₂·log(π(y|x)/π_ref(y|x))ile optimal avantajr(x, y) − V*(x)arasındaki kare hatadır.
from trl.experimental.a2po import A2POConfig, A2POTrainer
# A*-PO assumes a binary, verifiable reward in {0, 1}.
def reward_correct(completions, ground_truth, **kwargs):
return [float(completion.strip() == truth) for completion, truth in zip(completions, ground_truth)]
training_args = A2POConfig(
output_dir="Qwen2.5-0.5B-A2PO",
num_value_samples=8, # Stage 1: samples per prompt from the reference policy to estimate V*
beta1=0.5, # Stage 1: KL temperature for the V* estimate
beta2=1e-3, # Stage 2: KL temperature for the regression target
)
trainer = A2POTrainer(
model="Qwen/Qwen2.5-0.5B",
reward_funcs=reward_correct,
args=training_args,
train_dataset=...,
)
trainer.train()V* tamamen referans politika örneklerinden tahmin edildiği için A*-PO, referans politikanın Pass@K değerini aşamaz. Resmi uygulama ZhaolinGao/A-PO adresinde bulunabilir.
A2POTrainer
sınıf trl.experimental.a2po.A2POTrainer
< source >( model: transformers.modeling_utils.PreTrainedModel | strreward_funcs: collections.abc.Callable[..., list[float]] | list[collections.abc.Callable[..., list[float]]]args: trl.experimental.a2po.a2po_config.A2POConfig | None = Nonetrain_dataset = Noneeval_dataset = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | None = Nonecallbacks = Noneoptimizers = (None, None) )
Parametreler
- model (
PreTrainedModelorstr) — Model to be trained, or a model identifier (string) passed to from_pretrained. - reward_funcs (
Callableveyalist[Callable]) — Ödül fonksiyon(lar)ı. Her biripromptsvecompletions(ayrıca veri seti sütunlarını anahtar kelime argümanları olarak) alır ve float ödül listesini döndürür. Birden fazla fonksiyon sağlandığında, ağırlıklı toplamları (bkz.A2POConfig.reward_weights) skaler ödülrolur ve A*-PO bunun ikili (binary) olduğunu (yani{0, 1}içinde) varsayar. - args (experimental.a2po.A2POConfig, isteğe bağlı) —
Bu eğitimci için yapılandırma.
Noneise varsayılan yapılandırma kullanılır. - train_dataset (Dataset, isteğe bağlı) —
Eğitim veri seti.
"prompt"sütunu içermelidir. - eval_dataset (Dataset, isteğe bağlı) — Değerlendirme veri seti.
- processing_class (PreTrainedTokenizerBase, isteğe bağlı) —
Verileri işlemek için kullanılan işleme sınıfı.
Noneise, model adıyla from_pretrained kullanılarak yüklenir. - callbacks (
list[~transformers.TrainerCallback], isteğe bağlı) — Eğitim döngüsünü özelleştirmek için kullanılacak geri çağrılar listesi. - optimizers (
tuple[~torch.optim.Optimizer, ~torch.optim.lr_scheduler.LambdaLR], isteğe bağlı, varsayılan(None, None)) — Optimizatörü ve öğrenme hızı zamanlayıcısını içeren demet.
Optimal Advantage Regression ile LLM akıl yürütme için RL hızlandırma makalesinde tanıtılan A*-PO (Optimal Advantage Regression) yöntemi için Trainer.
A*-PO iki aşamada çalışır:
- Çevrimdışı değer tahmini. Eğitimden önce, her eğitim istemi için referans politika tarafından
num_value_samplestamamlama örneklenir vereward_funcsile puanlanır. Optimal değer,V*(x) = beta1 * log(mean_i exp(r(x, y_i) / beta1))olarak tahmin edilir ve istem başına önbelleğe alınır. - Politika üzerinde regresyon. Eğitim sırasında, mevcut politikadan her istem için tek bir tamamlama üretilir.
Kayıp, örtük ödül
beta2 * log(pi(y|x) / pi_ref(y|x))ile optimal avantaj tahminir(x, y) - V*(x)arasındaki kare hatadır.
Modeli kaydeder, böylece from_pretrained() kullanarak yeniden yükleyebilirsiniz.
Yalnızca ana süreçten kaydedecektir.
push_to_hub
< source >( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )
Parametreler
- commit_message (
str, isteğe bağlı, varsayılan"End of training") — İterlerken gönderilecek mesaj. - blocking (
bool, isteğe bağlı, varsayılanTrue) — Fonksiyonun yalnızcagit pushişlemi tamamlandığında mı değer döndürmesi gerektiğini belirtir. - token (
str, isteğe bağlı, varsayılanNone) — Trainer'ın orijinal argümanlarını üzerine yazma iznine sahip jeton. - revision (
str, isteğe bağlı) — Commit'in alınacağı git revizyonu. Varsayılan olarak “main” dalının başıdır. - private (
bool, isteğe bağlı) — Depo oluşturulurken özel yapılıp yapılmayacağı. Varsayılan olarakargs.hub_private_repodeğerini alır. Depo zaten mevcutsa hiçbir etkisi yoktur. - kwargs (
dict[str, Any], isteğe bağlı) —~Trainer.create_model_cardile birlikte iletilen ek anahtar kelime argümanları.
self.model ve self.processing_class öğelerini self.args.hub_model_id deposundaki 🤗 model hub'ına yükleyin.
A2POConfig
sınıf trl.experimental.a2po.A2POConfig
< source >( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 5e-05lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool | None = Nonegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Falselabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict | None = Nonetrust_remote_code: bool = Falsemax_prompt_length: int | None = 512max_completion_length: int | None = 256temperature: float = 1.0top_p: float = 1.0top_k: int | None = Nonenum_value_samples: int = 8beta1: float = 0.5filter_all_incorrect: bool = Truebeta2: float = 0.001reward_weights: list[float] | None = None )
Model ve referans modeli kontrol eden parametreler
- model_init_kwargs (
dict[str, Any], isteğe bağlı) — experimental.a2po.A2POTrainer'inmodelargümanı bir dize olarak verildiğinde from_pretrained için kullanılan anahtar kelime argümanları.revisiondeğeri, işleme sınıfı yüklenirken de kullanılır. - trust_remote_code (
bool, isteğe bağlı, varsayılanFalse) — Hub'dan özel Python kodu içeren modellerin ve tokenizer'ların yüklenmesine izin verilip verilmeyeceğini belirtir. from_pretrained ve from_pretrained işlevlerine aktarılır.
Veri ön işleme sürecini kontrol eden parametreler
- remove_unused_columns (
bool, isteğe bağlı, varsayılanFalse) — Veri setinde yalnızca"prompt"sütununun korunup korunmayacağını belirtir."prompts"ve"completions"dışında herhangi bir sütun gerektiren özel bir ödül fonksiyonu kullanıyorsanız, bu değeriFalseolarak bırakmalısınız.
Üretimi kontrol eden parametreler
- max_prompt_length (
intveyaNone, isteğe bağlı, varsayılan512) — İstemin (prompt) maksimum uzunluğu. İstem bu uzunluktan daha uzunsa, soldan kırpılır. - max_completion_length (
intveyaNone, isteğe bağlı, varsayılan256) — Oluşturulan tamamlamanın maksimum uzunluğu. - temperature (
float, isteğe bağlı, varsayılan1.0) — Hem 1. aşama hem de 2. aşama üretiminde kullanılan örneklemleme sıcaklığı. - top_p (
float, isteğe bağlı, varsayılan1.0) — Dikkate alınacak üst tokenların kümülatif olasılığını kontrol edenfloat. (0, 1] aralığında olmalıdır. Tüm tokenları dikkate almak için1.0olarak ayarlayın. - top_k (
intveyaNone, isteğe bağlı) — Tutulacak en yüksek olasılığa sahip sözlük belirteçlerinin sayısı.Noneise top-k filtreleme devre dışı bırakılır.
Stage 1 (çevrimdışı optimal değer tahmini) aşamasını kontrol eden parametreler
- num_value_samples (
int, isteğe bağlı, varsayılan8) —V*tahmini için her istem başına referans politikadan çekilen örnek sayısı. - beta1 (
float, isteğe bağlı, varsayılan0.5) — 1. AşamadaV*tahmini için kullanılan KL sıcaklığı. - filter_all_incorrect (
bool, isteğe bağlı, varsayılanTrue) — Tüm referans örnekleri hatalı olan istemleri (prompts) düşürüp düşürmeyeceğini belirtir.
Stage 2 (on-policy regresyon) aşamasını kontrol eden parametreler
experimental.a2po.A2POTrainer için yapılandırma sınıfı.
Bu sınıf yalnızca A2PO eğitimine özgü parametreleri içerir. Eğitim argümanlarının tam listesi için lütfen TrainingArguments belgelerine başvurun. Bu sınıftaki varsayılan değerlerin TrainingArguments içindeki değerlerden farklı olabileceğini unutmayın.