TRL documentation

IW-OPD

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

IW-OPD

On the Position Bias of On-Policy Distillation makalesinde yazarlar, Importance-Weighted On-Policy Distillation (IW-OPD) yöntemini tanıtmaktadır. IW-OPD, on-policy distillation'daki konum önyargısını, örneklenen token güncellemelerini birikimli öğretmen-öğrenci önek farkına göre yeniden ağırlıklandırarak ele alır. Erken tokenlar daha büyük ağırlıkları korurken, yüksek sapma sonrası gelen geç tokenlar ağırlıkları azaltılarak işlenir.

IW-OPD'yi kullanmak için trl.experimental.iw_opd içindeki experimental.iw_opd.IWOPDTrainer sınıfını kullanabilirsiniz.

IW-OPD şu anda trl.experimental ad alanının bir parçasıdır. Özellik üzerinde çalışmaya devam edilirken API'ler haber verilmeksizin değişebilir.

Kullanım

from trl.experimental.iw_opd import IWOPDConfig, IWOPDTrainer

training_args = IWOPDConfig(
    distillation_objective="iw_opd",
    iw_opd_gamma=0.5,
)
trainer = IWOPDTrainer(
    model="Qwen/Qwen3-0.6B",
    teacher_model="...",
    train_dataset=...,
    args=training_args,
)
trainer.train()

IW-OPD, on-policy bir amaçtır: distillation_objective="iw_opd", lmbda=1.0 (varsayılan) gerektirir. iw_opd_gamma, makalenin Algoritma 1'indeki önem ağırlığı amplifikasyonudur.

IWOPDTrainer

sınıf trl.experimental.iw_opd.IWOPDTrainer

< >

( model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.Module, str, NoneType] = Noneteacher_model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.Module, str] = Noneargs: trl.experimental.iw_opd.iw_opd_config.IWOPDConfig | None = Nonedata_collator: collections.abc.Callable[[list[typing.Any]], dict[str, typing.Any]] | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | dict[str, datasets.arrow_dataset.Dataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.image_processing_utils.BaseImageProcessor | transformers.feature_extraction_utils.FeatureExtractionMixin | transformers.processing_utils.ProcessorMixin | None = Nonecompute_metrics: collections.abc.Callable[[transformers.trainer_utils.EvalPrediction], dict] | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR] = (None, None)preprocess_logits_for_metrics: collections.abc.Callable[[torch.Tensor, torch.Tensor], torch.Tensor] | None = Nonepeft_config: typing.Optional[ForwardRef('PeftConfig')] = None )

Önem Ağırlıklı Politik Üzeri Damıtma (IW-OPD) için Trainer.

IW-OPD (On the Position Bias of On-Policy Distillation), örneklenen token distilasyon sinyalini birikmiş öğretmen-öğrenci önek ayrılığına göre yeniden ağırlıklandırır; denetimi dağıtım dışına kaymış sonraki tokenların ağırlığını azaltır. Bunu seçmek için distillation_objective=“iw_opd” kullanın.

Bu eğitimci, yeniden yapılandırma öncesi DistillationTrainer'ın dondurulmuş bir anlık görüntüsüdür ve IW-OPD'nin (kararlı, tam sözlüklü DistillationTrainer'a uymayan, öğretmen yönlendirmeli bir politika gradyanı yöntemi) evi olarak korunmaktadır. Aktif olarak bakımı yapılmamakta ve o eğitimcinin sonraki iyileştirmelerini takip etmemektedir.

Destekler:

  • Genelleştirilmiş JSD kaybı (ileri KL, ters KL veya beta ile interpolasyonlu JSD)
  • Örnekleme-token IW-OPD hedefi (distillation_objective=“iw_opd”)
  • lmbda ile on-policy / off-policy karışımı (gradyan biriktirme boyunca tamponlanır)
  • Yerel öğretmen modeli veya vLLM sunucusu üzerinden harici öğretmen
  • vLLM veya model.generate() ile öğrenci on-policy üretimi

eğit

< >

( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput

Parametreler

  • resume_from_checkpoint (str veya bool, isteğe bağlı) — str ise, önceki bir Trainer örneği tarafından kaydedilen bir kontrol noktasının yerel yolu. bool ise ve True değerine eşitse, önceki bir Trainer örneği tarafından args.output_dir içinde kaydedilen son kontrol noktasını yükler. Mevcutsa, eğitim burada yüklenen model/optimizör/zamanlayıcı durumlarından devam eder.
  • trial (optuna.Trial veya dict[str, Any], isteğe bağlı) — Hiperparametre araması için deneme çalışması veya hiperparametre sözlüğü.
  • ignore_keys_for_eval (list[str], isteğe bağlı) — Eğitim sırasında değerlendirme için tahminleri toplarken göz ardı edilmesi gereken, model çıktısındaki (bir sözlükse) anahtarların listesi.

Dönüş değeri

~trainer_utils.TrainOutput

Küresel adım sayısını, eğitim kaybını ve metrikleri içeren nesne.

Ana eğitim giriş noktası.

save_model

< >

( output_dir: str | None = None_internal_call: bool = False )

Modeli kaydeder, böylece from_pretrained() kullanarak yeniden yükleyebilirsiniz.

Yalnızca ana süreçten kaydedecektir.

push_to_hub

< >

( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )

Parametreler

  • commit_message (str, isteğe bağlı, varsayılan "End of training") — İterlerken gönderilecek mesaj.
  • blocking (bool, isteğe bağlı, varsayılan True) — Fonksiyonun yalnızca git push işlemi tamamlandığında mı değer döndürmesi gerektiğini belirtir.
  • token (str, isteğe bağlı, varsayılan None) — Trainer'ın orijinal argümanlarını üzerine yazma iznine sahip jeton.
  • revision (str, isteğe bağlı) — Commit'in alınacağı git revizyonu. Varsayılan olarak “main” dalının başıdır.
  • private (bool, isteğe bağlı) — Depo oluşturulurken özel yapılıp yapılmayacağı. Varsayılan olarak args.hub_private_repo değerini alır. Depo zaten mevcutsa hiçbir etkisi yoktur.
  • kwargs (dict[str, Any], isteğe bağlı) — ~Trainer.create_model_card ile birlikte iletilen ek anahtar kelime argümanları.

self.model ve self.processing_class öğelerini self.args.hub_model_id deposundaki 🤗 model hub'ına yükleyin.

IWOPDConfig

sınıf trl.experimental.iw_opd.IWOPDConfig

< >

( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 1e-06lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool | None = Nonegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Truelabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict[str, typing.Any] | str | None = Nonetrust_remote_code: bool = Falsemax_length: int | None = 1024temperature: float = 1.0lmbda: float = 1.0beta: float = 1.0distillation_objective: str = 'iw_opd'iw_opd_gamma: float = 0.5iw_opd_epsilon: float = 1e-08reverse_kl_top_1_mode: str = 'sampled'max_completion_length: int = 512max_prompt_length: int | None = Nonedisable_dropout: bool = Trueteacher_model_name_or_path: str | None = Noneteacher_model_revision: str | None = Noneteacher_model_init_kwargs: dict[str, typing.Any] | str | None = Noneuse_teacher_server: bool = Falseteacher_model_server_url: str | None = Noneloss_top_k: int = 1loss_add_tail: bool = Truenum_generations: int = 1generation_batch_size: int | None = Nonetop_p: float = 0.95top_k: int = 0use_vllm: bool = Falsevllm_mode: str = 'colocate'vllm_server_base_url: str | None = Nonevllm_server_host: str = '0.0.0.0'vllm_server_port: int = 8001vllm_server_timeout: float = 240.0vllm_group_port: int = 51216vllm_gpu_memory_utilization: float = 0.3vllm_tensor_parallel_size: int = 1vllm_max_model_length: int | None = Nonevllm_model_impl: str = 'vllm'vllm_structured_outputs_regex: str | None = Nonevllm_sync_frequency: int = 1vllm_enable_sleep_mode: bool = Falselog_completions: bool = Falselog_completions_steps: int = 100num_completions_to_print: int | None = None )

Modeli kontrol eden parametreler

  • model_init_kwargs (dict[str, Any], isteğe bağlı) — Eğiticinin model argümanı bir dize olarak verildiğinde AutoModelForCausalLM.from_pretrained için kullanılan anahtar kelime argümanları. revision değeri, işleme sınıfı yüklenirken de kullanılır.
  • trust_remote_code (bool, isteğe bağlı, varsayılan False) — Hub'dan özel Python kodu içeren modellerin ve tokenizer'ların yüklenmesine izin verilip verilmeyeceğini belirtir. Hem öğrenci hem de öğretmen için from_pretrained ve from_pretrained işlevlerine iletilir.
  • max_length (int veya None, isteğe bağlı, varsayılan 1024) — Tokenizasyon ve kırpma için maksimum toplam dizi uzunluğu (istek + tamamlama).

Damıtma işlemini kontrol eden parametreler

  • temperature (float, isteğe bağlı, varsayılan 1.0) — Üretim sırasında örneklemeyi ve damıtma kaybını hesaplamayı etkileyen sıcaklık. Daha yüksek değerler daha yumuşak olasılık dağılımları üretir.
  • lmbda (float, isteğe bağlı, varsayılan 1.0) — Her gradyan birikimi dilimi için on-policy (öğrenci tarafından üretilen) verilerin kullanılma olasılığı. 0.0 değeri tamamen off-policy (yalnızca veri seti tamamlamaları) anlamına gelir, 1.0 değeri ise tamamen on-policy anlamına gelir.
  • beta (float, isteğe bağlı, varsayılan 1.0) — Genelleştirilmiş Jensen-Shannon Sapması kaybı için interpolasyon katsayısı. 0.0 olduğunda, kayıp ileri KL sapmasıdır. 1.0 olduğunda, kayıp ters KL sapmasıdır. 0.5 olduğunda, standart JSD'dir.
  • distillation_objective (str, isteğe bağlı, varsayılan "iw_opd") — Optimize edilecek hedef. "iw_opd", örneklenen-token Importance-Weighted On-Policy Distillation hedefini kullanır. "jsd", genelleştirilmiş JSD/KL hedefini korur.
  • iw_opd_gamma (float, isteğe bağlı, varsayılan 0.5) — distillation_objective="iw_opd" için önem ağırlıklı amplifikasyon.
  • iw_opd_epsilon (float, isteğe bağlı, varsayılan 1e-8) — IW-OPD önek ağırlıklarını normalize ederken kullanılan kararlılaştırıcı.
  • reverse_kl_top_1_mode (str, isteğe bağlı, varsayılan "sampled") — beta > 0 ve loss_top_k == 1 olduğunda reverse-KL top-1 jetonu için seçim kuralı. "sampled" seçeneği, toplumdaki gerçek tamamlama jetonunu kullanır. "argmax" seçeneği, öğrencinin en yüksek olasılıklı jetonunu kullanır. Bu ayar, her zaman öğretmenin top-1 jetonunu kullanan forward-KL desteğini etkilemez. beta == 0 veya loss_top_k != 1 olduğunda yok sayılır.
  • max_completion_length (int, isteğe bağlı, varsayılan 512) — On-policy üretim sırasında tamamlama başına üretilecek maksimum token sayısı.
  • max_prompt_length (int veya None, isteğe bağlı) — İstem için maksimum token sayısı. None ise max_length - max_completion_length olarak otomatik hesaplanır. İstemler, tokenizer'ın truncation_side ayarına göre kısaltılır.
  • disable_dropout (bool, isteğe bağlı, varsayılan True) — Eğitim sırasında öğrenci modelinde dropout'un devre dışı bırakılıp bırakılmayacağı.

Öğretmen modelini kontrol eden parametreler

  • teacher_model_name_or_path (str veya None, isteğe bağlı) — Öğretmen modeli için model adı veya yolu. Öğretmen yerel olarak yüklendiğinde kullanılır.
  • teacher_model_revision (str veya None, isteğe bağlı) — Öğretmen modelinin revizyonu (ör. dal adı, etiket veya commit hash'i).
  • teacher_model_init_kwargs (dict[str, Any] veya None, isteğe bağlı) — Bir dizgeden öğretmen modelini örneklerken AutoModelForCausalLM.from_pretrained fonksiyonuna iletilen anahtar kelime argümanları
  • use_teacher_server (bool, isteğe bağlı, varsayılan False) — Yerel bir öğretmen modeli yerine harici bir vLLM öğretmen sunucusunun kullanılıp kullanılmayacağı.
  • teacher_model_server_url (str veya None, isteğe bağlı) — Öğretmen modelini barındıran bir vLLM sunucusunun temel URL'si (ör. "http://localhost:8000"). Ayarlandığında, use_teacher_server=True durumunda öğretmen logprobs'ları yerel bir ileri geçiş çalıştırmak yerine sunucudan alınır.
  • loss_top_k (int, isteğe bağlı, varsayılan 1) — JSD/KL kaybı hesaplanırken kullanılacak en üst token sayısı. Hem öğrenci hem de öğretmen dağılımları bu K token ile sınırlanır ve sapma hesaplanmadan önce yeniden normalize edilir. 0 ise tam sözlük kullanılır. Yerel öğretmenler için genel destek kuralı, ileri KL için öğretmen top-k, ters KL için öğrenci top-k ve karışık JSD için birleşimdir. beta > 0 ve loss_top_k == 1 olduğunda, ileri destek hâlâ öğretmenin top-1 token'ını kullanırken, ters top-1 token'ı reverse_kl_top_1_mode tarafından kontrol edilir. use_teacher_server=True olduğunda, saf ileri yol (beta=0) bunun pozitif olmasını gerektirir ve ileri terim için öğretmenin top-k logprobs değerlerini kullanır. beta > 0 olduğunda, sunucu destekli damıtma loss_top_k == 1 gerektirir ve yalnızca "sampled" ters top-1 token'larını destekler.
  • loss_add_tail (bool, isteğe bağlı, varsayılan True) — Kayıp hesaplanırken, seçilen top-k desteğinin dışındaki kalan olasılık kütlesini temsil eden bir kuyruk kovası eklenip eklenmeyeceğini belirtir.

On-policy üretimini kontrol eden parametreler

  • num_generations (int, isteğe bağlı, varsayılan 1) — On-policy üretim sırasında her prompt için üretilecek tamamlama sayısı.
  • generation_batch_size (int veya None, isteğe bağlı) — Optimizatör adımı başına işçi başına benzersiz istem sayısı. None ise, (per_device_train_batch_size * gradient_accumulation_steps) // num_generations formülünden hesaplanır.
  • top_p (float, isteğe bağlı, varsayılan 0.95) — On-policy üretim için Top-p (nucleus) örneklemesi parametresi.
  • top_k (int, isteğe bağlı, varsayılan 0) — On-policy üretim için top-k örneklemesi parametresi. 0, top-k filtrelemeyi devre dışı bırakır.

Öğrenci üretimi için vLLM'yi kontrol eden parametreler

  • use_vllm (bool, isteğe bağlı, varsayılan False) — Öğrenci modelinden on-policy tamamlamalar üretmek için vLLM kullanılacak mı?
  • vllm_mode (str, isteğe bağlı, varsayılan "colocate") — Öğrenci vLLM entegrasyonu için mod. "server" veya "colocate".
  • vllm_server_base_url (str veya None, isteğe bağlı) — Öğrenci vLLM sunucusu için temel URL. Sağlanırsa vllm_server_host ve vllm_server_port yok sayılır.
  • vllm_server_host (str, isteğe bağlı, varsayılan "0.0.0.0") — Öğrenci vLLM sunucusunun ana makinesi.
  • vllm_server_port (int, isteğe bağlı, varsayılan 8001) — Öğrenci vLLM sunucusunun portu.
  • vllm_server_timeout (float, isteğe bağlı, varsayılan 240.0) — Öğrenci vLLM sunucusuna bağlanma zaman aşımı.
  • vllm_group_port (int, isteğe bağlı, varsayılan 51216) — vLLM ağırlık güncelleme grubu (NCCL iletişimcisi) için port.
  • vllm_gpu_memory_utilization (float, isteğe bağlı, varsayılan 0.3) — Aynı konumda bulunan öğrenci vLLM motoru için GPU bellek kullanımı.
  • vllm_tensor_parallel_size (int, isteğe bağlı, varsayılan 1) — Colocate edilmiş öğrenci vLLM motoru için tensor paralel boyutu.
  • vllm_max_model_length (int veya None, isteğe bağlı) — Colocate edilmiş vLLM motoru için maksimum model dizisi uzunluğu.
  • vllm_model_impl (str, isteğe bağlı, varsayılan "vllm") — vLLM için model uygulama arka ucu. "vllm" veya "transformers" kullanın.
  • vllm_structured_outputs_regex (str veya None, isteğe bağlı) — vLLM yapılandırılmış çıktıları için regex deseni.
  • vllm_sync_frequency (int, isteğe bağlı, varsayılan 1) — Öğrenci model ağırlıklarının vLLM motoruna senkronize edilme sıklığı (eğitim adımı cinsinden).
  • vllm_enable_sleep_mode (bool, isteğe bağlı, varsayılan False) — Optimizatör adımında öğrenci ağırlıklarını boşaltmak için vLLM uyku modunu etkinleştirir.

Kayıt tutmayı kontrol eden parametreler

  • log_completions (bool, isteğe bağlı, varsayılan False) — Her log_completions_steps adımda (prompt, completion) çiftlerinin bir örneğinin günlüğe kaydedilip kaydedilmeyeceğini belirtir. rich yüklüyse, örnek yazdırılır. wandb ve/veya trackio günlüğü etkinleştirildiyse, wandb ve/veya trackio’ya kaydedilir.
  • log_completions_steps (int, isteğe bağlı, varsayılan 100) — Tamamlamaların günlüğe kaydedilmesi arasındaki adım sayısı. Yalnızca log_completions True ise kullanılır.
  • num_completions_to_print (int veya None, isteğe bağlı) — Yazdırılacak tamamlama sayısı. None ise tüm tamamlamalar günlüğe kaydedilir.

experimental.iw_opd.IWOPDTrainer için yapılandırma sınıfı.

TrainingArguments sınıfını, bilgi damıtmasına özgü parametrelerle genişletir. Bu yapılandırma SFTConfig sınıfından bağımsızdır — gerekli tüm alanlar burada tanımlanmıştır.

HfArgumentParser kullanarak bu sınıfı, komut satırında belirtilebilen argparse argümanlarına dönüştürebiliriz.

Update on GitHub