TRL documentation

Genel Çevrimiçi Logit Damıtma (GOLD) Eğiticisi

You are viewing v1.18.0 version. A newer version v1.18.1 is available.
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Genel Çevrimiçi Logit Damıtma (GOLD) Eğiticisi

All_models-GOLD-blue

Genel Bakış

Genel Çevrimiçi Logit Damıtma (GOLD), farklı tokenizatorlara sahip öğrenci/öğretmen çiftlerini destekleyen Evrensel Logit Damıtma (ULD) yönteminin bir uzantısıdır. Her iki tokenizatorun ürettiği metin aralıklarını hizalar ve ilişkili logitleri birleştirir, böylece hiçbir tamamlama tokenı düşmez. Bu, karışık model aileleri dahil olmak üzere (örneğin, LLaMA öğrencileri ile Qwen öğretmenleri) tokenizatorlar arası bilgi damıtmasını mümkün kılar.

Temel yetenekler:

  1. Çapraz tokenleştirici hizalama – GOLD, öğrenci ve öğretmen tokenlerini kademeli olarak çözer, aynı görünür metne sahip pasajları gruplar ve her grup içinde olasılıkları birleştirir. Bu, token sınırları farklı olsa bile kayıp terimlerinin tamamlamanın tamamı üzerinden hesaplandığını garanti eder.
  2. Hybrid ULD kaybı – uld_use_hybrid_loss etkinleştirildiğinde, GOLD tam sözlük eşleşmelerini doğrudan karşılaştırır ve eşleşmeyen jetonlar için orijinal sıralı olasılık ULD kaybına geri döner. Bu, sözlükleri öğretmenden yalnızca kısmen örtüşen öğrenciler için kararlılığı artırır.
  3. GKD ile sorunsuz entegrasyon – GOLD, experimental.gkd.GKDTrainer'dan on-policy ve off-policy zamanlamasını devraldığından, dizin düzeyinde KD, genelleştirilmiş JSD ve çapraz tokenizer damıtma işlemlerini tek bir eğitim çalışmasında birleştirebilirsiniz.

GOLD şu anda trl.experimental ad alanının bir parçasıdır. Özellik üzerinde çalışmaya devam edilirken API'ler haber verilmeksizin değiştirilebilir.

Kullanım ipuçları

experimental.gold.GOLDTrainer, SFTTrainer'in bir alt sınıfıdır ve diğer TRL eğitimcileriyle aynı veri kümelerini (ChatML tarzı mesaj listeleri) kabul eder. experimental.gold.GOLDConfig'deki önemli yapılandırma bayrakları şunlardır:

  • use_uld_loss – Universal Logit Distillation'ı açar/kapatır. Farklı tokenizer'lar için bu değeri True olarak ayarlayın.
  • teacher_tokenizer_name_or_path – use_uld_loss=True olduğunda zorunludur; GOLD, tokenleri hizalamak için öğretmen tokenizer'ını kullanır.
  • uld_use_hybrid_loss, uld_hybrid_matched_weight, uld_hybrid_unmatched_weight – hibrit eşleşmiş/eşleşmemiş kaybı etkinleştirir ve ağırlıklandırır.
  • beta, lmbda, seq_kd – experimental.gkd.GKDConfig sınıfından devralınır; genelleştirilmiş JSD interpolasyonunu ve on-policy örneklem oranını kontrol eder.
  • use_privileged_context, teacher_prompt_template, privileged_context_column – öğrenci promptu değiştirilmeden, öğretmenin örnek başına ek bağlam görmesini sağlar. Bu özellik şu anda yalnızca metin, off-policy ve standart-JSD eğitimine sınırlıdır.
  • num_generations, generation_batch_size – gradyan biriktirme pencereleri boyunca tamponlu rollout üretimini kontrol eder. generation_batch_size, işçi başına ve optimizasyon adımı başına benzersiz istem sayısını belirtir.

Minimal uçtan uca bir örnek:

from datasets import load_dataset
from trl.experimental.gold import GOLDConfig, GOLDTrainer

train_dataset = load_dataset(
    "HuggingFaceTB/OpenR1-Math-220k-default-verified",
    "all",
    split="train[:1024]",
)

trainer = GOLDTrainer(
    model="meta-llama/Llama-3.2-1B-Instruct",
    teacher_model="Qwen/Qwen2.5-0.5B-Instruct",
    args=GOLDConfig(output_dir="gold-model", use_uld_loss=True, teacher_tokenizer_name_or_path="Qwen/Qwen2.5-0.5B-Instruct"),
    train_dataset=train_dataset,
)
trainer.train()

Hızlı başlangıç iş akışlarında, yukarıda gösterildiği gibi dizgi tanımlayıcılarına güvenebilirsiniz—eğitmen modeli ve belirteçleyiciyi sizin için yükleyecektir. AutoModelForCausalLM, AutoTokenizer sınıflarını açıkça örneklemek veya GOLDConfig yapılandırmasını doldurmak, yalnızca başlatma üzerinde ince ayar düzeyinde kontrol gerektiren ileri düzey kullanım durumları için önerilir.

Model yükleme, tokenizer ayarları veya eğitim argümanlarını özelleştirmeniz gerektiğinde daha açık bir kurulum aşağıdaki gibi görünebilir:

from datasets import load_dataset
from trl.experimental.gold import GOLDConfig, GOLDTrainer
from transformers import AutoModelForCausalLM, AutoTokenizer

student_name = "meta-llama/Llama-3.2-1B-Instruct"
teacher_name = "Qwen/Qwen2.5-0.5B-Instruct"

tokenizer = AutoTokenizer.from_pretrained(student_name)
if tokenizer.pad_token is None:
    tokenizer.pad_token = tokenizer.eos_token

model = AutoModelForCausalLM.from_pretrained(student_name)
teacher_model = AutoModelForCausalLM.from_pretrained(teacher_name)

train_dataset = load_dataset(
    "HuggingFaceTB/Countdown-Task-GOLD",
    "verified_Qwen2.5-0.5B-Instruct",
    split="train",
)

training_args = GOLDConfig(
    output_dir="gold-model",
    per_device_train_batch_size=1,
    teacher_model_name_or_path=teacher_name,
    teacher_tokenizer_name_or_path=teacher_name,
    use_uld_loss=True,
    uld_use_hybrid_loss=True,
)

trainer = GOLDTrainer(
    model=model,
    teacher_model=teacher_model,
    args=training_args,
    processing_class=tokenizer,
    train_dataset=train_dataset,
)
trainer.train()

GOLD, tam bir optimizör penceresi üretim partisini (per_device_train_batch_size * gradient_accumulation_steps) tamponlar ve bunu birikim adımları arasında yeniden kullanır. Son parti boyutundan küçükse, GOLD uyarı verir ve son partiyi atar (Dropping last batch due to unexpected batch size). Bu uyarıdan kaçınmak için dataloader_drop_last=True değerini ayarlayın.

Beklenen veri seti türü

GOLD, konuşma dil modelleme veri seti gerektirir, örn.:

{"messages": [{"role": "user", "content": "What color is the sky?"},
              {"role": "assistant", "content": "It is blue."}]}

GOLDTrainer, ChatML collator'ın doğru sınırlarla prompt ve tamamlamaları oluşturabilmesi için ham mesajları saklar.

Özel Bağlam

Özel bağlam damıtma, çıkarım sırasında öğrenciye sunulmayan ek bilgiyi öğretmene sağlar. Normal bir istem/tamamlama veri setine bir bağlam sütunu ekleyin, ardından bu özelliği açıkça etkinleştirin:

from datasets import Dataset

dataset = Dataset.from_list(
    [
        {
            "prompt": [{"role": "user", "content": "What caused the outage?"}],
            "completion": [{"role": "assistant", "content": "A timeout change caused the outage."}],
            "privileged_context": "The deployment changed the timeout immediately before errors began.",
        }
    ]
)

args = GOLDConfig(
    output_dir="gold-model",
    lmbda=0.0,
    use_privileged_context=True,
)

Öğrenci, orijinal istem ve tamamlama üzerinde eğitilir. Öğretmen, varsayılan olarak "{prompt}\n\n{privileged_context}" içinden oluşturulan ayrı bir istem alır ve ardından tam olarak aynı tamamlamayı puanlar. Sohbet verisi için GOLD, sohbet şablonunun yeniden uygulanmasından önce yalnızca son kullanıcı turunu yeniden yazar; sistem, araç ve asistan turları değişmeden kalır. Bu istemi özelleştirmek için teacher_prompt_template değerini ayarlayın ve "privileged_context" dışında bir sütun kullanmak için privileged_context_column değerini ayarlayın.

Öğretmen istemi asla kısaltılmaz, bu nedenle öğretmen modelinin bağlam penceresine sığdığından emin olun. Bu ilk destek, bilinçli olarak metne ve off-policy standart JSD damıtmasına sınırlıdır: lmbda 0 olmalı ve seq_kd=True, use_uld_loss=True, X-Token KD (xtoken_loss_type "none" dışında), packing, VLM'ler ve Liger Kernel ayrıcalıklı bağlamla desteklenmez.

Token Birleştirme Nasıl Çalışır

Öğrenci ve öğretmen farklı tokenizörler kullandığında, aynı metin farklı şekilde bölünebilir:

  • Öğrenci: "Hugging Face" → 1 token
  • Öğretmen: "Hugging", " Face" → 2 token

GOLD, bu dizileri hizalar ve öğretmenin çoklu jeton olasılıklarını, öğrencinin tek jeton dağılımıyla karşılaştırılabilecek tek bir dağılıma birleştirir.

Olasılık Birleştirme

Tek bir öğrenci jetonuna eşlenen [token₀, token₁, ..., tokenₖ] jetonlarından oluşan bir öğretmen dizisi için GOLD şu işlemi hesaplar:

P_merged(y) = P(y | context) × P(token₁ | token₀, context) × ... × P(tokenₖ | ..., context)

burada:

  • P(y | context), ilk konumdaki tüm sözlük belirteçleri üzerindeki marjinal olasılık dağılımıdır
  • P(tokenᵢ | ..., context), üretilen gerçek tokenların skaler koşullu olasılıklarıdır

Temel içgörü: Sadece gerçek devam jetonlarının koşullu olasılıkları skalerler olarak çıkarılır. İlk konumdaki tam marjinal dağılım, bu skaler olasılıklarla çarpılarak ölçeklendirilir.

Bununla şunlar sağlanır:

  1. Gerçek üretilen dizinin doğru ortak olasılığı (zincir kuralı ile)
  2. Makul yaklaşım karşıfaktüel jetonlar için (aynı devam olasılığıyla ölçeklenmiş)
  3. ULD kaybı hesaplama için doğru göreli olasılıkları koruyan normalize edilmemiş dağılımlar

Örnek

Verilen:

P(x₀):         ["HF": 0.6,  "is": 0.3,  "cool": 0.1]
P(x₁ | "HF"):  ["HF": 0.05, "is": 0.9,  "cool": 0.05]

0 ve 1 numaralı jetonlar birleştirildiyse ve asıl dizi ["HF", "is"] idiysa:

P_merged("HF")   = 0.6 × 0.9 = 0.54  ✓ (correct joint probability)
P_merged("is")   = 0.3 × 0.9 = 0.27
P_merged("cool") = 0.1 × 0.9 = 0.09

Birleştirilmiş dağılım normalize edilmemiştir (toplamı 0.81'dir), ancak bu ULD kayıp hesabı için kasıtlı ve doğrudur; bu hesaplama sıralama ve L1 mesafesi kullanır.

Örnek betik

Komut satırından GOLD eğitimini başlatmak için examples/gold_chatbot_arena/gold_chatbot_arena.py dosyasını kullanın. Betik, standart ModelConfig bayrakları aracılığıyla tam eğitim ve LoRA'yı destekler.

python examples/gold_chatbot_arena/gold_chatbot_arena.py \
    --model_name_or_path meta-llama/Llama-3.2-1B-Instruct \
    --teacher_model_name_or_path Qwen/Qwen2-1.5B-Instruct \
    --dataset_name trl-lib/chatbot_arena_completions \
    --learning_rate 2e-5 \
    --per_device_train_batch_size 4 \
    --gradient_accumulation_steps 8 \
    --output_dir gold-model \
    --num_train_epochs 1 \
    --push_to_hub

Görsel Dil Modellerinin Eğitimi

experimental.gold.GOLDTrainer, VLM'den VLM'ye damıtma (distillation) destekler. Hem öğrenci hem de öğretmen, görsel-dil modelleri olmalıdır. Bir VLM eğitmek için, veri setinde image sütunu (örnek başına tek görsel) veya images sütunu (örnek başına görsel listesi) bulunmalıdır. Beklenen veri seti yapısı hakkında daha fazla bilgi için Veri Seti Biçimi — Görsel veri setleri bölümüne bakın.

Öğrenci ve öğretmen aynı mimariyi ve tokenizer'ı paylaşıyorsa (ör. Qwen3-VL-8B'den Qwen3-VL-2B'ye), standart genelleştirilmiş JSD kaybı doğrudan uygulanır. Farklı model_type değerlerine sahiplerse (ör. Qwen3-VL'den LFM2.5-VL'ye), Universal Logit Distillation ile cross-tokenizer hizalamayı etkinleştirmek için use_uld_loss=True ayarlayın. Görseller, her modelin kendi işlemcisi üzerinden ayrı ayrı işlenir.

from datasets import load_dataset
import torch
from transformers import AutoModelForImageTextToText, AutoProcessor
from trl.experimental.gold import GOLDConfig, GOLDTrainer

student_name = "Qwen/Qwen3-VL-2B-Instruct"
teacher_name = "Qwen/Qwen3-VL-8B-Instruct"

processor = AutoProcessor.from_pretrained(student_name, padding_side="left")
student_model = AutoModelForImageTextToText.from_pretrained(student_name, dtype=torch.bfloat16)
teacher_model = AutoModelForImageTextToText.from_pretrained(teacher_name, dtype=torch.bfloat16)

train_dataset = load_dataset("trl-lib/llava-instruct-mix", split="train")

trainer = GOLDTrainer(
    model=student_model,
    teacher_model=teacher_model,
    args=GOLDConfig(
        output_dir="gold-vlm-model",
        max_length=None,
        teacher_model_name_or_path=teacher_name,
        use_uld_loss=False,
    ),
    train_dataset=train_dataset,
    processing_class=processor,
)
trainer.train()

Aileler arası damıtma için use_uld_loss=True ve teacher_tokenizer_name_or_path değerlerini öğretmen model adıyla ayarlayın.

Komut satırından GOLD VLM eğitimini başlatmak için examples/gold_qwen3_vl/gold_qwen3_vl.py dosyasını kullanın:

# Same-family distillation (JSD loss, vLLM enabled)
torchrun --nproc_per_node 8 examples/gold_qwen3_vl/gold_qwen3_vl.py \
    --student_model_name Qwen/Qwen3-VL-2B-Instruct \
    --teacher_model_name Qwen/Qwen3-VL-8B-Instruct

# Cross-family distillation (ULD loss, local generation)
torchrun --nproc_per_node 8 examples/gold_qwen3_vl/gold_qwen3_vl.py \
    --student_model_name LiquidAI/LFM2.5-VL-1.6B \
    --teacher_model_name Qwen/Qwen3-VL-8B-Instruct \
    --use_uld_loss \
    --no-use_vllm

VLM'ler için, görüntü token'ları dizinin istem (prompt) bölümünde yer aldığı ve sessizce atılabilme riski taşıdığından truncation_mode='keep_end' desteklenmez. Bunun yerine truncation_mode='keep_start' (varsayılan) kullanın veya experimental.gold.GOLDConfig içinde max_length=None olarak ayarlayın. Bu, modelin görüntü token'larını kısaltmadan tam dizi uzunluğunu işlemesine olanak tanır.

GOLDConfig(max_length=None, ...)

Tüm veri setinde kırpmanın görüntü belirteçlerini kaldırmayacağını doğruladığınızda yalnızca max_length kullanın.

Mimari arası VLM damıtma işlemi use_uld_loss=True parametresini gerektirir. ULD kaybı olmadan mimari arası damıtma işlemi denendiğinde eğitimci bir hata oluşturur.

GOLDTrainer

sınıf trl.experimental.gold.GOLDTrainer

< >

( model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.Module, str, NoneType] = Noneteacher_model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.Module, str] = Noneargs: trl.experimental.gold.gold_config.GOLDConfig | None = Nonedata_collator: collections.abc.Callable[[list[typing.Any]], dict[str, typing.Any]] | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | dict[str, datasets.arrow_dataset.Dataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.image_processing_utils.BaseImageProcessor | transformers.feature_extraction_utils.FeatureExtractionMixin | transformers.processing_utils.ProcessorMixin | None = Nonecompute_metrics: collections.abc.Callable[[transformers.trainer_utils.EvalPrediction], dict] | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR] = (None, None)preprocess_logits_for_metrics: collections.abc.Callable[[torch.Tensor, torch.Tensor], torch.Tensor] | None = Nonepeft_config: typing.Optional[ForwardRef('PeftConfig')] = None )

eğit

< >

( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput

Parametreler

  • resume_from_checkpoint (str veya bool, isteğe bağlı) — str ise, önceki bir Trainer örneği tarafından kaydedilen bir kontrol noktasının yerel yolu. bool ise ve True değerine eşitse, önceki bir Trainer örneği tarafından args.output_dir içinde kaydedilen son kontrol noktasını yükler. Mevcutsa, eğitim burada yüklenen model/optimizör/zamanlayıcı durumlarından devam eder.
  • trial (optuna.Trial veya dict[str, Any], isteğe bağlı) — Hiperparametre araması için deneme çalışması veya hiperparametre sözlüğü.
  • ignore_keys_for_eval (list[str], isteğe bağlı) — Eğitim sırasında değerlendirme için tahminleri toplarken göz ardı edilmesi gereken, model çıktısındaki (bir sözlükse) anahtarların listesi.

Dönüş değeri

~trainer_utils.TrainOutput

Küresel adım sayısını, eğitim kaybını ve metrikleri içeren nesne.

Ana eğitim giriş noktası.

generate_on_policy_outputs

< >

( modelinputsgeneration_config )

save_model

< >

( output_dir: str | None = None_internal_call: bool = False )

Modeli kaydeder, böylece from_pretrained() kullanarak yeniden yükleyebilirsiniz.

Yalnızca ana süreçten kaydedecektir.

push_to_hub

< >

( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )

Parametreler

  • commit_message (str, isteğe bağlı, varsayılan "End of training") — İterlerken gönderilecek mesaj.
  • blocking (bool, isteğe bağlı, varsayılan True) — Fonksiyonun yalnızca git push işlemi tamamlandığında mı değer döndürmesi gerektiğini belirtir.
  • token (str, isteğe bağlı, varsayılan None) — Trainer'ın orijinal argümanlarını üzerine yazma iznine sahip jeton.
  • revision (str, isteğe bağlı) — Commit'in alınacağı git revizyonu. Varsayılan olarak “main” dalının başıdır.
  • private (bool, isteğe bağlı) — Depo oluşturulurken özel yapılıp yapılmayacağı. Varsayılan olarak args.hub_private_repo değerini alır. Depo zaten mevcutsa hiçbir etkisi yoktur.
  • kwargs (dict[str, Any], isteğe bağlı) — ~Trainer.create_model_card ile birlikte iletilen ek anahtar kelime argümanları.

self.model ve self.processing_class öğelerini self.args.hub_model_id deposundaki 🤗 model hub'ına yükleyin.

GOLDConfig

sınıf trl.experimental.gold.GOLDConfig

< >

( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 1e-07lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Truelabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict[str, typing.Any] | str | None = Nonetrust_remote_code: bool = Falserouter_aux_loss_coef: float | None = Nonechat_template_path: str | None = Nonedataset_text_field: str = 'text'dataset_kwargs: dict[str, typing.Any] | str | None = Nonedataset_num_proc: int | None = Noneeos_token: str | None = Nonemax_length: int | None = 1024truncation_mode: str = 'keep_start'shuffle_dataset: bool = Falsepacking: bool = Falsepacking_strategy: str = 'bfd'padding_free: bool = Falsepad_to_multiple_of: int | str | None = 'auto'eval_packing: bool | None = Nonecompletion_only_loss: bool | None = Noneassistant_only_loss: bool = Falseloss_type: str = 'nll'activation_offloading: bool = Falsepad_token: str | None = Nonetemperature: float = 0.9top_p: float = 0.95top_k: int = 0lmbda: float = 0.5beta: float = 0.5max_completion_length: int = 128teacher_model_name_or_path: str | None = Noneteacher_model_revision: str | None = Noneteacher_model_init_kwargs: dict[str, typing.Any] | str | None = Noneteacher_tokenizer_name_or_path: str | None = Nonedisable_dropout: bool = Trueseq_kd: bool = Falseuse_privileged_context: bool = Falseteacher_prompt_template: str | None = Noneprivileged_context_column: str = 'privileged_context'num_generations: int = 1generation_batch_size: int | None = Noneuse_uld_loss: bool = Falseuld_token_merge_strategy: str = 'observed'use_extended_uld: bool = Trueuld_use_hybrid_loss: bool = Falseuld_hybrid_matched_weight: float | None = Noneuld_hybrid_unmatched_weight: float | None = Noneuld_crossentropy_weight: float = 0.0uld_distillation_weight: float = 1.0uld_student_temperature: float = 1.0uld_teacher_temperature: float = 1.0uld_skip_student_eos: bool = Trueuld_skip_teacher_eos: bool = Truextoken_loss_type: str = 'none'xtoken_projection_matrix_path: str | None = Nonextoken_temperature: float = 1.0xtoken_dynamic_scaling: bool = Truextoken_uncommon_topk: int = 8192xtoken_vocab_topk: int = 8192xtoken_kl_weight: float = 1.0xtoken_ce_scale: float = 0.1use_vllm: bool = Falsevllm_mode: str = 'colocate'vllm_server_base_url: str | None = Nonevllm_server_host: str = '0.0.0.0'vllm_server_port: int = 8001vllm_server_timeout: float = 240.0vllm_group_port: int = 51216vllm_gpu_memory_utilization: float = 0.9vllm_tensor_parallel_size: int = 1vllm_max_model_length: int | None = Nonevllm_model_impl: str = 'vllm'vllm_structured_outputs_regex: str | None = Nonevllm_sync_frequency: int = 1vllm_enable_sleep_mode: bool = Falselog_completions: bool = Falselog_completions_steps: int = 100num_completions_to_print: int | None = Nonewandb_log_unique_prompts: bool = Truecallbacks: list[str] = <factory> )

Üretimi ve eğitim döngüsünü kontrol eden parametreler

  • temperature (float, isteğe bağlı, varsayılan 0.9) — Örnekleme için sıcaklık. Sıcaklık ne kadar yüksekse, tamamlamalar o kadar rastgele olur.
  • top_p (float, isteğe bağlı, varsayılan 0.95) — float < 1 olarak ayarlanırsa, olasılıkları top_p veya daha yüksek bir toplamda birleşen en küçük en olası token kümesi üretim için korunur.
  • top_k (int, isteğe bağlı, varsayılan 0) — Top-k filtreleme için en yüksek olasılığa sahip tutulacak sözlük belirteçlerinin sayısı. 0 ise top-k filtreleme devre dışı bırakılır ve tüm belirteçler dikkate alınır.
  • lmbda (float, isteğe bağlı, varsayılan 0.5) — Öğrenci veri oranını (yani, politika üzerinde üretilen öğrenci çıktılarının oranını) kontrol eden Lambda parametresi.
  • beta (float, isteğe bağlı, varsayılan 0.5) — Genelleştirilmiş Jensen-Shannon Divergence kaybının 0.0 ile 1.0 arasındaki interpolasyon katsayısı. beta 0.0 olduğunda, kayıp KL divergence'dır. beta 1.0 olduğunda, kayıp Inverse KL Divergence'dır.
  • max_completion_length (int, isteğe bağlı, varsayılan 128) — Tamamlama başına üretilecek maksimum token sayısı.
  • teacher_model_name_or_path (str, isteğe bağlı) — Öğretmen modelinin adı veya yolu. None ise, öğretmen modeli eğitilen modelle aynı olacaktır.
  • teacher_model_revision (str or None, isteğe bağlı, varsayılan None) — Öğretmen modelinin revizyonu (ör. dal adı, etiket veya commit hash). None ise varsayılan revizyon kullanılır.
  • teacher_model_init_kwargs (dict[str, Any], isteğe bağlı) — Bir dizgeden öğretmen modelini örneklerken AutoModelForCausalLM.from_pretrained fonksiyonuna iletilecek anahtar kelime argümanları. revision değeri, öğretmen işleme sınıfı yüklenirken de kullanılır.
  • teacher_tokenizer_name_or_path (str, isteğe bağlı) — Öğretmen modeli için tokenizer adı veya yolu. ULD kaybı kullanılırken None ise, öğrenci modeliyle aynı tokenizer kullanılacaktır (çapraz tokenizer damıtması için önerilmez).
  • disable_dropout (bool, isteğe bağlı, varsayılan True) — Modelde dropout'un devre dışı bırakılıp bırakılmayacağı.
  • seq_kd (bool, isteğe bağlı, varsayılan False) — Sequence-Level KD'nin (öğretmen tarafından üretilen çıktı üzerinde denetimli FT olarak görülebilir) uygulanıp uygulanmayacağını kontrol eden Seq_kd parametresi.
  • use_privileged_context (bool, isteğe bağlı, varsayılan False) — Öğrenci istemini değiştirmeden, öğretmenin örnek başına ayrıcalıklı bağlama koşullandırılıp koşulmayacağını belirtir. Bu, yalnızca metin için, off-policy standart JSD damıtma ile desteklenir.
  • teacher_prompt_template (str, isteğe bağlı) — Öğretmen istemini oluşturmak için kullanılan şablon. {prompt} içermesi zorunludur ve {privileged_context} içerebilir. None olduğunda, varsayılan olarak "{prompt}\n\n{privileged_context}" kullanılır.
  • privileged_context_column (str, isteğe bağlı, varsayılan "privileged_context") — Öğretmen istemini oluşturmak için kullanılan örnek başına ayrıcalıklı bağlamı içeren veri seti sütunu.
  • num_generations (int, isteğe bağlı, varsayılan 1) — İstek başına üretilen nesil sayısı. Her istek, üretim grubunda bu kadar kez tekrarlanır.
  • generation_batch_size (int veya None, isteğe bağlı, varsayılan None) — Optimizatör adımı başına işçi başına benzersiz istem sayısı. None ise, (per_device_train_batch_size * gradient_accumulation_steps) // num_generations ifadesinden hesaplanır.

ULD kaybını kontrol eden parametreler

  • use_uld_loss (bool, isteğe bağlı, varsayılan False) — Generalized Jensen-Shannon Divergence kaybı yerine Universal Logit Distillation (ULD) kaybının kullanılıp kullanılmayacağı.
  • use_extended_uld (bool, isteğe bağlı, varsayılan True) — Öğrenci ve öğretmen tokenizasyonları arasında token olasılıklarını hizalamak ve birleştirmek için tokenizörler kullanan genişletilmiş ULD hizalamasını etkinleştirip etkinleştirmeyeceğini belirtir. True olduğunda, eğitimci token eşlemelerini hesaplar ve bölünmüş tokenlar için olasılıkları birleştirir; False olduğunda, ULD orijinal ULD makalesindeki gibi basit konumsal kırpma kullanır. Ne ByteLevel ne de byte-fallback BPE olan tokenizörler (ör. Llama 2) için False olarak ayarlayın.
  • uld_token_merge_strategy (str, isteğe bağlı, varsayılan "observed") — ULD kaybında cevap logitlerini hizalamak ve token olasılıklarını birleştirmek için kullanılan strateji. "observed" ile cevap logitleri, cevap konumlarında dilimlenir ve bölünmüş tokenlar (use_extended_uld=True olduğunda) ilk konumdaki marjinal dağılımın, sonraki gerçek tokenların skaler koşullu olasılıklarıyla çarpılması yoluyla birleştirilir. "bayesian" ile cevap-logit dilimi bir konum öncesine kaydırılır, böylece probs[k] token_ids[k]’i tahmin eder (zincir kuralı) ve bölünmüş tokenlar, gerçek önek tokenlarına koşullu son konumun tam dağılımı ile, önceki tokenların skaler olasılıklarıyla çarpılarak birleştirilir. Logit hizalama kayması, use_extended_uld etkinleştirilip etkinleştirilmediğine bakılmaksızın uygulanır.
  • uld_use_hybrid_loss (bool, isteğe bağlı, varsayılan False) — ULD kaybı ve JSD kaybını birleştiren hibrit bir kaybın kullanılıp kullanılmayacağını belirtir. True olduğunda, nihai kayıp, bilinen token eşlemeleri için JSD ve bilinmeyen token eşlemeleri için ULD'nin bir kombinasyonudur.
  • uld_hybrid_matched_weight (float veya None, isteğe bağlı) — Hibrit ULD + JSD kaybı kullanıldığında eşleşen token kaybı bileşeni için ağırlık. Bu ağırlık, öğrenci ve öğretmen tokenizasyonları arasında doğrudan bir eşleme bulunan tokenlar üzerinde hesaplanan JSD kaybını ölçekler. None ise, sözlük örtüşmesine dayalı adaptif ağırlama kullanılır. uld_hybrid_unmatched_weight ile birlikte ayarlanmalıdır (her ikisi de None veya her ikisi de float).
  • uld_hybrid_unmatched_weight (float veya None, isteğe bağlı) — Hibrit ULD + JSD kaybı kullanıldığında eşleşmeyen token kaybı bileşeni için ağırlık. Bu ağırlık, öğrenci ve öğretmen tokenizasyonları arasında doğrudan bir eşleme bulunmayan tokenlar üzerinde hesaplanan ULD kaybını ölçekler. None ise, sözlük örtüşmesine dayalı adaptif ağırlama kullanılır. uld_hybrid_matched_weight ile birlikte ayarlanmalıdır (her ikisi de None veya her ikisi de float olmalıdır).
  • uld_crossentropy_weight (float, isteğe bağlı, varsayılan 0.0) — ULD kaybında çapraz entropi kaybı bileşeni için ağırlık. 0 ise yalnızca ULD damıtma kaybı kullanılır.
  • uld_distillation_weight (float, isteğe bağlı, varsayılan 1.0) — ULD kaybında damıtma kaybı bileşeni için ağırlık.
  • uld_student_temperature (float, isteğe bağlı, varsayılan 1.0) — ULD kaybı hesaplamasında öğrenci logitleri için sıcaklık.
  • uld_teacher_temperature (float, isteğe bağlı, varsayılan 1.0) — ULD kaybı hesaplamasında öğretmen logitleri için sıcaklık.
  • uld_skip_student_eos (bool, isteğe bağlı, varsayılan True) — ULD kaybı hesaplamasında öğrenci için EOS token'ının atlanıp atlanmayacağı.
  • uld_skip_teacher_eos (bool, isteğe bağlı, varsayılan True) — ULD kaybı hesaplamasında öğretmen için EOS token'ının atlanıp atlanmayacağı.

X-Token cross-tokenizer KD için parametreler (https

  • xtoken_loss_type (str, isteğe bağlı, varsayılan "none") — Cross-tokenizer KD varyantı: "none" (devre dışı), "p_kl" (projection KL) veya "h_kl" (gevşetilmiş ortak küme ile hibrit KL). teacher_tokenizer_name_or_path ve xtoken_projection_matrix_path gerektirir.
  • xtoken_projection_matrix_path (str, isteğe bağlı) — Önceden hesaplanmış bir projeksiyon matrisi dosyasının yolu. xtoken_loss_type != "none" olduğunda zorunludur.
  • xtoken_temperature (float, isteğe bağlı, varsayılan 1.0) — X-Token KD kaybı için sıcaklık T; kayıp T² ile çarpılır (Hinton 2015).
  • xtoken_dynamic_scaling (bool, isteğe bağlı, varsayılan True) — Kayıp büyüklüklerini dengelemek için (kağıt Denk. 7) KD'yi her mikrotoplu için stop_gradient(abs(CE) / abs(KD)) ile ölçekler.
  • xtoken_uncommon_topk (int, isteğe bağlı, varsayılan 8192) — H-KL: sıralanmış-L1 nadir karşılaştırmasını, her taraf için en üst-k token'a sınırlar.
  • xtoken_vocab_topk (int, isteğe bağlı, varsayılan 8192) — P-KL: KL'yi, en yüksek logit'e göre küresel üst-k öğretmen tokenlarına kısıtlar. --top-k projeksiyon matrisiyle etkileşime girer: matrisin erişim alanı dışındaki öğretmen tokenları, projekte edilmiş öğrenci kütlesinde neredeyse sıfıra yakın değer alır ve KL'yi baskı altına alır; bu nedenle daha küçük değerler, kaybı öğrencinin eşleştirebileceği tokenlara yoğunlaştırır.
  • xtoken_kl_weight (float, isteğe bağlı, varsayılan 1.0) — xtoken_dynamic_scaling=False olduğunda X-Token KD terimi için ağırlık.
  • xtoken_ce_scale (float, isteğe bağlı, varsayılan 0.1) — xtoken_dynamic_scaling=False olduğunda X-Token kaybındaki CE terimi için ölçekleme faktörü.

vLLM entegrasyonunu kontrol eden parametreler

  • use_vllm (bool, isteğe bağlı, varsayılan False) — Öğrenci modelden tamamlamalar üretmek için vLLM kullanılacak mı? Bunun için vllm'in yüklü olması gerekir.
  • vllm_mode (str, isteğe bağlı, varsayılan "colocate") — Öğrenci vLLM entegrasyonu için mod. Ya "server" (çalışan bir vLLM sunucusuna bağlan) ya da "colocate" (vLLM'yi aynı süreçte çalıştır).
  • vllm_server_host (str, isteğe bağlı, varsayılan "0.0.0.0") — Öğrenci modeli için vLLM sunucusunun ana makinesi (eğer vllm_mode="server" ise).
  • vllm_server_port (int, isteğe bağlı, varsayılan 8001) — Öğrenci modeli için vLLM sunucusunun portu (vllm_mode="server" ise).
  • vllm_server_timeout (float, isteğe bağlı, varsayılan 240.0) — Öğrenci vLLM sunucusuna bağlanma zaman aşımı (vllm_mode="server" ise).
  • vllm_gpu_memory_utilization (float, isteğe bağlı, varsayılan 0.9) — Aynı konumda bulunan öğrenci vLLM motoru için GPU bellek kullanımı (vllm_mode="colocate" ise). Öğrenci ve öğretmen modelleri aynı GPU'yu paylaşıyorsa bu değerin düşük bir değere ayarlanması önerilir.
  • vllm_tensor_parallel_size (int, isteğe bağlı, varsayılan 1) — Yerleşik (colocated) öğrenci vLLM motoru için tensör paralel boyutu (vllm_mode="colocate" ise).
  • vllm_structured_outputs_regex (str, isteğe bağlı) — Öğrenci modeli için vLLM yapılandırılmış çıktıları için regex.
  • vllm_server_base_url (str, isteğe bağlı) — vLLM sunucusu için temel URL (ör. "http://localhost:8001"). Verildiğinde vllm_server_host ve vllm_server_port yok sayılır.
  • vllm_group_port (int, isteğe bağlı, varsayılan 51216) — vLLM ağırlık güncelleme grubu (NCCL iletişimcisi) için port. Port meşgul değilse değiştirmeye gerek yoktur.
  • vllm_max_model_length (int, isteğe bağlı) — vllm_mode="colocate" olduğunda, yerleşik (colocated) vLLM motoru için maksimum model dizisi uzunluğu. Varsayılan olarak modelin maksimum bağlam uzunluğuna ayarlanır.
  • vllm_model_impl (str, isteğe bağlı, varsayılan "vllm") — vLLM'de kullanılacak model uygulama arka ucu. "vllm" (varsayılan) veya "transformers" kullanın.
  • vllm_sync_frequency (int, isteğe bağlı, varsayılan 1) — Öğrenci model ağırlıklarının vLLM motoruyla senkronize edilme sıklığı (eğitim adımı cinsinden). Her adımdan sonra senkronize etmek için 1 olarak ayarlayın.
  • vllm_enable_sleep_mode (bool, isteğe bağlı, varsayılan False) — Optimizatör adımında öğrenci ağırlıklarını/önbelleğini dışarı aktarmak için vLLM uyku modunu etkinleştirir. GPU bellek kullanımını düşük tutar, ancak motorun uyanması ev sahibi–cihaz aktarma gecikmesi ekler.

Kayıt tutmayı kontrol eden parametreler

  • log_completions (bool, isteğe bağlı, varsayılan False) — Her logging_steps adımında (prompt, completion) çiftlerinin bir örneğinin günlüğe kaydedilip kaydedilmeyeceğini belirtir. rich yüklüyse, örneği yazdırır. wandb günlüğü etkinleştirildiyse, wandb üzerinden kaydeder.
  • log_completions_steps (int, isteğe bağlı, varsayılan 100) — Kayıt altına alınan (prompt, completion) çiftleri arasındaki adım sayısı. Yalnızca log_completions değeri True olarak ayarlanırsa kullanılır.
  • num_completions_to_print (int or None, isteğe bağlı) — rich ile yazdırılacak tamamlama sayısı. None ise tüm tamamlamalar günlüğe kaydedilir.
  • wandb_log_unique_prompts (bool, isteğe bağlı, varsayılan True) — Benzersiz istemlerin wandb'ye kaydedilip kaydedilmeyeceğini belirtir. Bu, her benzersiz istem için yeni bir çalışma oluşturur.
  • callbacks (list[str], isteğe bağlı, varsayılan []) — Eğitim sırasında çalıştırılacak geri bildirimler.

experimental.gold.GOLDTrainer için yapılandırma sınıfı.

Bu sınıf yalnızca GOLD eğitimine özgü parametreleri içerir. Eğitim argümanlarının tam listesi için lütfen TrainingArguments ve SFTConfig belgelerine başvurun.

Bu parametrenin TrainingArguments'ten farklı varsayılan değerleri vardır:

  • learning_rate: Varsayılan olarak 5e-5 yerine 1e-7 olarak ayarlanır.
Update on GitHub