TRL documentation

A2PO

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

A2PO

model badge

TRL, Kianté Brantley, Mingyu Chen, Zhaolin Gao, Jason D. Lee, Wen Sun, Wenhao Zhan ve Xuezhou Zhang'ın Accelerating RL for LLM Reasoning with Optimal Advantage Regression makalesinde tanımlanan A*-PO (Optimal Advantage Regression) yöntemini destekler.

Makalenin özeti aşağıdaki gibidir:

Pekiştirmeli öğrenme (RL), karmaşık akıl yürütme yeteneklerini geliştirmek için büyük dil modellerinin (LLM) ince ayarında güçlü bir araç olarak öne çıkmıştır. Ancak, son teknoloji politika optimizasyonu yöntemleri, genellikle her istem için birden fazla üretim gereksinimi ve mevcut politikanın eleştirmen ağlarına veya avantaj tahminlerine bağımlılığı nedeniyle yüksek hesaplama yükü ve bellek tüketiminden muzdariptir. Bu makalede, A*-PO'yu öneriyoruz; bu, doğrudan optimal avantaj fonksiyonunu yaklaşık olarak hesaplayan ve akıl yürütme görevleri için LLM'lerin verimli eğitimini sağlayan yeni bir iki aşamalı politika optimizasyon çerçevesidir. Birinci aşamada, referans politikadan çevrimdışı örneklemeyi kullanarak optimal değer fonksiyonu V*'yi tahmin ediyor ve maliyetli çevrimiçi değer tahmini ihtiyacını ortadan kaldırıyoruz. İkinci aşamada, her istem için yalnızca tek bir üretimle basit bir en küçük kareler regresyon kaybı kullanarak politika içi güncellemeler yapıyoruz. Teorik olarak, performans garantileri kuruyor ve karmaşık keşif stratejileri gerektirmeden KL-düzenlenmiş RL hedefinin optimize edilebileceğini kanıtlıyoruz. Deneysel olarak, A*-PO, geniş bir matematiksel akıl yürütme ölçüm seti yelpazesinde rekabetçi performans elde ederken, PPO, GRPO ve REBEL ile karşılaştırıldığında eğitim süresini 2 katına kadar ve tepe bellek kullanımını %30'dan fazla azaltmaktadır.

Kullanım

A*-PO, ikili ve doğrulanabilir bir ödül (r ∈ {0, 1}) varsayar ve iki aşamada çalışır:

  1. Çevrimdışı değer tahmini. Eğitimden önce, her istem için referans politika tarafından num_value_samples tamamlama örneklenir ve reward_funcs ile puanlanır. Optimal değer V*(x) = β₁·log(mean_i exp(r(x, yᵢ)/β₁)) istem başına tahmin edilir ve önbelleğe alınır.
  2. Politika üzerinde regresyon. Eğitim sırasında, mevcut politikadan her istem için tek bir tamamlama üretilir. Kayıp, örtük ödül β₂·log(π(y|x)/π_ref(y|x)) ile optimal avantaj r(x, y) − V*(x) arasındaki kare hatadır.
from trl.experimental.a2po import A2POConfig, A2POTrainer

# A*-PO assumes a binary, verifiable reward in {0, 1}.
def reward_correct(completions, ground_truth, **kwargs):
    return [float(completion.strip() == truth) for completion, truth in zip(completions, ground_truth)]

training_args = A2POConfig(
    output_dir="Qwen2.5-0.5B-A2PO",
    num_value_samples=8,  # Stage 1: samples per prompt from the reference policy to estimate V*
    beta1=0.5,  # Stage 1: KL temperature for the V* estimate
    beta2=1e-3,  # Stage 2: KL temperature for the regression target
)
trainer = A2POTrainer(
    model="Qwen/Qwen2.5-0.5B",
    reward_funcs=reward_correct,
    args=training_args,
    train_dataset=...,
)
trainer.train()

V* tamamen referans politika örneklerinden tahmin edildiği için A*-PO, referans politikanın Pass@K değerini aşamaz. Resmi uygulama ZhaolinGao/A-PO adresinde bulunabilir.

A2POTrainer

sınıf trl.experimental.a2po.A2POTrainer

< >

( model: transformers.modeling_utils.PreTrainedModel | strreward_funcs: collections.abc.Callable[..., list[float]] | list[collections.abc.Callable[..., list[float]]]args: trl.experimental.a2po.a2po_config.A2POConfig | None = Nonetrain_dataset = Noneeval_dataset = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | None = Nonecallbacks = Noneoptimizers = (None, None) )

Parametreler

  • model (PreTrainedModel or str) — Model to be trained, or a model identifier (string) passed to from_pretrained.
  • reward_funcs (Callable veya list[Callable]) — Ödül fonksiyon(lar)ı. Her biri prompts ve completions (ayrıca veri seti sütunlarını anahtar kelime argümanları olarak) alır ve float ödül listesini döndürür. Birden fazla fonksiyon sağlandığında, ağırlıklı toplamları (bkz. A2POConfig.reward_weights) skaler ödül r olur ve A*-PO bunun ikili (binary) olduğunu (yani {0, 1} içinde) varsayar.
  • args (experimental.a2po.A2POConfig, isteğe bağlı) — Bu eğitimci için yapılandırma. None ise varsayılan yapılandırma kullanılır.
  • train_dataset (Dataset, isteğe bağlı) — Eğitim veri seti. "prompt" sütunu içermelidir.
  • eval_dataset (Dataset, isteğe bağlı) — Değerlendirme veri seti.
  • processing_class (PreTrainedTokenizerBase, isteğe bağlı) — Verileri işlemek için kullanılan işleme sınıfı. None ise, model adıyla from_pretrained kullanılarak yüklenir.
  • callbacks (list[~transformers.TrainerCallback], isteğe bağlı) — Eğitim döngüsünü özelleştirmek için kullanılacak geri çağrılar listesi.
  • optimizers (tuple[~torch.optim.Optimizer, ~torch.optim.lr_scheduler.LambdaLR], isteğe bağlı, varsayılan (None, None)) — Optimizatörü ve öğrenme hızı zamanlayıcısını içeren demet.

Optimal Advantage Regression ile LLM akıl yürütme için RL hızlandırma makalesinde tanıtılan A*-PO (Optimal Advantage Regression) yöntemi için Trainer.

A*-PO iki aşamada çalışır:

  1. Çevrimdışı değer tahmini. Eğitimden önce, her eğitim istemi için referans politika tarafından num_value_samples tamamlama örneklenir ve reward_funcs ile puanlanır. Optimal değer, V*(x) = beta1 * log(mean_i exp(r(x, y_i) / beta1)) olarak tahmin edilir ve istem başına önbelleğe alınır.
  2. Politika üzerinde regresyon. Eğitim sırasında, mevcut politikadan her istem için tek bir tamamlama üretilir. Kayıp, örtük ödül beta2 * log(pi(y|x) / pi_ref(y|x)) ile optimal avantaj tahmini r(x, y) - V*(x) arasındaki kare hatadır.

eğit

< >

( *args**kwargs )

save_model

< >

( output_dir: str | None = None_internal_call: bool = False )

Modeli kaydeder, böylece from_pretrained() kullanarak yeniden yükleyebilirsiniz.

Yalnızca ana süreçten kaydedecektir.

push_to_hub

< >

( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )

Parametreler

  • commit_message (str, isteğe bağlı, varsayılan "End of training") — İterlerken gönderilecek mesaj.
  • blocking (bool, isteğe bağlı, varsayılan True) — Fonksiyonun yalnızca git push işlemi tamamlandığında mı değer döndürmesi gerektiğini belirtir.
  • token (str, isteğe bağlı, varsayılan None) — Trainer'ın orijinal argümanlarını üzerine yazma iznine sahip jeton.
  • revision (str, isteğe bağlı) — Commit'in alınacağı git revizyonu. Varsayılan olarak “main” dalının başıdır.
  • private (bool, isteğe bağlı) — Depo oluşturulurken özel yapılıp yapılmayacağı. Varsayılan olarak args.hub_private_repo değerini alır. Depo zaten mevcutsa hiçbir etkisi yoktur.
  • kwargs (dict[str, Any], isteğe bağlı) — ~Trainer.create_model_card ile birlikte iletilen ek anahtar kelime argümanları.

self.model ve self.processing_class öğelerini self.args.hub_model_id deposundaki 🤗 model hub'ına yükleyin.

A2POConfig

sınıf trl.experimental.a2po.A2POConfig

< >

( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 5e-05lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool | None = Nonegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Falselabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict | None = Nonetrust_remote_code: bool = Falsemax_prompt_length: int | None = 512max_completion_length: int | None = 256temperature: float = 1.0top_p: float = 1.0top_k: int | None = Nonenum_value_samples: int = 8beta1: float = 0.5filter_all_incorrect: bool = Truebeta2: float = 0.001reward_weights: list[float] | None = None )

Model ve referans modeli kontrol eden parametreler

  • model_init_kwargs (dict[str, Any], isteğe bağlı) — experimental.a2po.A2POTrainer'in model argümanı bir dize olarak verildiğinde from_pretrained için kullanılan anahtar kelime argümanları. revision değeri, işleme sınıfı yüklenirken de kullanılır.
  • trust_remote_code (bool, isteğe bağlı, varsayılan False) — Hub'dan özel Python kodu içeren modellerin ve tokenizer'ların yüklenmesine izin verilip verilmeyeceğini belirtir. from_pretrained ve from_pretrained işlevlerine aktarılır.

Veri ön işleme sürecini kontrol eden parametreler

  • remove_unused_columns (bool, isteğe bağlı, varsayılan False) — Veri setinde yalnızca "prompt" sütununun korunup korunmayacağını belirtir. "prompts" ve "completions" dışında herhangi bir sütun gerektiren özel bir ödül fonksiyonu kullanıyorsanız, bu değeri False olarak bırakmalısınız.

Üretimi kontrol eden parametreler

  • max_prompt_length (int veya None, isteğe bağlı, varsayılan 512) — İstemin (prompt) maksimum uzunluğu. İstem bu uzunluktan daha uzunsa, soldan kırpılır.
  • max_completion_length (int veya None, isteğe bağlı, varsayılan 256) — Oluşturulan tamamlamanın maksimum uzunluğu.
  • temperature (float, isteğe bağlı, varsayılan 1.0) — Hem 1. aşama hem de 2. aşama üretiminde kullanılan örneklemleme sıcaklığı.
  • top_p (float, isteğe bağlı, varsayılan 1.0) — Dikkate alınacak üst tokenların kümülatif olasılığını kontrol eden float. (0, 1] aralığında olmalıdır. Tüm tokenları dikkate almak için 1.0 olarak ayarlayın.
  • top_k (int veya None, isteğe bağlı) — Tutulacak en yüksek olasılığa sahip sözlük belirteçlerinin sayısı. None ise top-k filtreleme devre dışı bırakılır.

Stage 1 (çevrimdışı optimal değer tahmini) aşamasını kontrol eden parametreler

  • num_value_samples (int, isteğe bağlı, varsayılan 8) — V* tahmini için her istem başına referans politikadan çekilen örnek sayısı.
  • beta1 (float, isteğe bağlı, varsayılan 0.5) — 1. Aşamada V* tahmini için kullanılan KL sıcaklığı.
  • filter_all_incorrect (bool, isteğe bağlı, varsayılan True) — Tüm referans örnekleri hatalı olan istemleri (prompts) düşürüp düşürmeyeceğini belirtir.

Stage 2 (on-policy regresyon) aşamasını kontrol eden parametreler

  • beta2 (float, isteğe bağlı, varsayılan 1e-3) — 2. aşama regresyon hedefinde kullanılan KL sıcaklığı.
  • reward_weights (list[float], isteğe bağlı) — Her ödül fonksiyonu için ağırlıklar. Ödül fonksiyonlarının sayısıyla eşleşmelidir. None ise, tüm ödüller 1.0 ağırlığıyla eşit şekilde ağırlıklandırılır.

experimental.a2po.A2POTrainer için yapılandırma sınıfı.

Bu sınıf yalnızca A2PO eğitimine özgü parametreleri içerir. Eğitim argümanlarının tam listesi için lütfen TrainingArguments belgelerine başvurun. Bu sınıftaki varsayılan değerlerin TrainingArguments içindeki değerlerden farklı olabileceğini unutmayın.

Update on GitHub