TRL documentation
Genel Çevrimiçi Logit Damıtma (GOLD) Eğiticisi
Genel Çevrimiçi Logit Damıtma (GOLD) Eğiticisi
Genel Bakış
Genel Çevrimiçi Logit Damıtma (GOLD), farklı tokenizatorlara sahip öğrenci/öğretmen çiftlerini destekleyen Evrensel Logit Damıtma (ULD) yönteminin bir uzantısıdır. Her iki tokenizatorun ürettiği metin aralıklarını hizalar ve ilişkili logitleri birleştirir, böylece hiçbir tamamlama tokenı düşmez. Bu, karışık model aileleri dahil olmak üzere (örneğin, LLaMA öğrencileri ile Qwen öğretmenleri) tokenizatorlar arası bilgi damıtmasını mümkün kılar.
Temel yetenekler:
- Çapraz tokenleştirici hizalama – GOLD, öğrenci ve öğretmen tokenlerini kademeli olarak çözer, aynı görünür metne sahip pasajları gruplar ve her grup içinde olasılıkları birleştirir. Bu, token sınırları farklı olsa bile kayıp terimlerinin tamamlamanın tamamı üzerinden hesaplandığını garanti eder.
- Hybrid ULD kaybı –
uld_use_hybrid_lossetkinleştirildiğinde, GOLD tam sözlük eşleşmelerini doğrudan karşılaştırır ve eşleşmeyen jetonlar için orijinal sıralı olasılık ULD kaybına geri döner. Bu, sözlükleri öğretmenden yalnızca kısmen örtüşen öğrenciler için kararlılığı artırır. - GKD ile sorunsuz entegrasyon – GOLD, experimental.gkd.GKDTrainer'dan on-policy ve off-policy zamanlamasını devraldığından, dizin düzeyinde KD, genelleştirilmiş JSD ve çapraz tokenizer damıtma işlemlerini tek bir eğitim çalışmasında birleştirebilirsiniz.
GOLD şu anda
trl.experimentalad alanının bir parçasıdır. Özellik üzerinde çalışmaya devam edilirken API'ler haber verilmeksizin değiştirilebilir.
Kullanım ipuçları
experimental.gold.GOLDTrainer, SFTTrainer'in bir alt sınıfıdır ve diğer TRL eğitimcileriyle aynı veri kümelerini (ChatML tarzı mesaj listeleri) kabul eder. experimental.gold.GOLDConfig'deki önemli yapılandırma bayrakları şunlardır:
use_uld_loss– Universal Logit Distillation'ı açar/kapatır. Farklı tokenizer'lar için bu değeriTrueolarak ayarlayın.teacher_tokenizer_name_or_path–use_uld_loss=Trueolduğunda zorunludur; GOLD, tokenleri hizalamak için öğretmen tokenizer'ını kullanır.uld_use_hybrid_loss,uld_hybrid_matched_weight,uld_hybrid_unmatched_weight– hibrit eşleşmiş/eşleşmemiş kaybı etkinleştirir ve ağırlıklandırır.beta,lmbda,seq_kd– experimental.gkd.GKDConfig sınıfından devralınır; genelleştirilmiş JSD interpolasyonunu ve on-policy örneklem oranını kontrol eder.use_privileged_context,teacher_prompt_template,privileged_context_column– öğrenci promptu değiştirilmeden, öğretmenin örnek başına ek bağlam görmesini sağlar. Bu özellik şu anda yalnızca metin, off-policy ve standart-JSD eğitimine sınırlıdır.num_generations,generation_batch_size– gradyan biriktirme pencereleri boyunca tamponlu rollout üretimini kontrol eder.generation_batch_size, işçi başına ve optimizasyon adımı başına benzersiz istem sayısını belirtir.
Minimal uçtan uca bir örnek:
from datasets import load_dataset
from trl.experimental.gold import GOLDConfig, GOLDTrainer
train_dataset = load_dataset(
"HuggingFaceTB/OpenR1-Math-220k-default-verified",
"all",
split="train[:1024]",
)
trainer = GOLDTrainer(
model="meta-llama/Llama-3.2-1B-Instruct",
teacher_model="Qwen/Qwen2.5-0.5B-Instruct",
args=GOLDConfig(output_dir="gold-model", use_uld_loss=True, teacher_tokenizer_name_or_path="Qwen/Qwen2.5-0.5B-Instruct"),
train_dataset=train_dataset,
)
trainer.train()Hızlı başlangıç iş akışlarında, yukarıda gösterildiği gibi dizgi tanımlayıcılarına güvenebilirsiniz—eğitmen modeli ve belirteçleyiciyi sizin için yükleyecektir. AutoModelForCausalLM, AutoTokenizer sınıflarını açıkça örneklemek veya GOLDConfig yapılandırmasını doldurmak, yalnızca başlatma üzerinde ince ayar düzeyinde kontrol gerektiren ileri düzey kullanım durumları için önerilir.
Model yükleme, tokenizer ayarları veya eğitim argümanlarını özelleştirmeniz gerektiğinde daha açık bir kurulum aşağıdaki gibi görünebilir:
from datasets import load_dataset
from trl.experimental.gold import GOLDConfig, GOLDTrainer
from transformers import AutoModelForCausalLM, AutoTokenizer
student_name = "meta-llama/Llama-3.2-1B-Instruct"
teacher_name = "Qwen/Qwen2.5-0.5B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(student_name)
if tokenizer.pad_token is None:
tokenizer.pad_token = tokenizer.eos_token
model = AutoModelForCausalLM.from_pretrained(student_name)
teacher_model = AutoModelForCausalLM.from_pretrained(teacher_name)
train_dataset = load_dataset(
"HuggingFaceTB/Countdown-Task-GOLD",
"verified_Qwen2.5-0.5B-Instruct",
split="train",
)
training_args = GOLDConfig(
output_dir="gold-model",
per_device_train_batch_size=1,
teacher_model_name_or_path=teacher_name,
teacher_tokenizer_name_or_path=teacher_name,
use_uld_loss=True,
uld_use_hybrid_loss=True,
)
trainer = GOLDTrainer(
model=model,
teacher_model=teacher_model,
args=training_args,
processing_class=tokenizer,
train_dataset=train_dataset,
)
trainer.train()GOLD, tam bir optimizör penceresi üretim partisini (
per_device_train_batch_size * gradient_accumulation_steps) tamponlar ve bunu birikim adımları arasında yeniden kullanır. Son parti boyutundan küçükse, GOLD uyarı verir ve son partiyi atar (Dropping last batch due to unexpected batch size). Bu uyarıdan kaçınmak içindataloader_drop_last=Truedeğerini ayarlayın.
Beklenen veri seti türü
GOLD, konuşma dil modelleme veri seti gerektirir, örn.:
{"messages": [{"role": "user", "content": "What color is the sky?"},
{"role": "assistant", "content": "It is blue."}]}GOLDTrainer, ChatML collator'ın doğru sınırlarla prompt ve tamamlamaları oluşturabilmesi için ham mesajları saklar.
Özel Bağlam
Özel bağlam damıtma, çıkarım sırasında öğrenciye sunulmayan ek bilgiyi öğretmene sağlar. Normal bir istem/tamamlama veri setine bir bağlam sütunu ekleyin, ardından bu özelliği açıkça etkinleştirin:
from datasets import Dataset
dataset = Dataset.from_list(
[
{
"prompt": [{"role": "user", "content": "What caused the outage?"}],
"completion": [{"role": "assistant", "content": "A timeout change caused the outage."}],
"privileged_context": "The deployment changed the timeout immediately before errors began.",
}
]
)
args = GOLDConfig(
output_dir="gold-model",
lmbda=0.0,
use_privileged_context=True,
)Öğrenci, orijinal istem ve tamamlama üzerinde eğitilir. Öğretmen, varsayılan olarak "{prompt}\n\n{privileged_context}" içinden oluşturulan ayrı bir istem alır ve ardından tam olarak aynı tamamlamayı puanlar. Sohbet verisi için
GOLD, sohbet şablonunun yeniden uygulanmasından önce yalnızca son kullanıcı turunu yeniden yazar; sistem, araç ve asistan turları
değişmeden kalır. Bu istemi özelleştirmek için teacher_prompt_template değerini ayarlayın ve "privileged_context" dışında bir sütun
kullanmak için privileged_context_column değerini ayarlayın.
Öğretmen istemi asla kısaltılmaz, bu nedenle öğretmen modelinin bağlam penceresine sığdığından emin olun. Bu ilk destek, bilinçli olarak metne ve off-policy standart JSD damıtmasına sınırlıdır: lmbda 0 olmalı ve seq_kd=True, use_uld_loss=True, X-Token KD (xtoken_loss_type "none" dışında), packing, VLM'ler ve Liger Kernel ayrıcalıklı bağlamla desteklenmez.
Token Birleştirme Nasıl Çalışır
Öğrenci ve öğretmen farklı tokenizörler kullandığında, aynı metin farklı şekilde bölünebilir:
- Öğrenci:
"Hugging Face"→ 1 token - Öğretmen:
"Hugging"," Face"→ 2 token
GOLD, bu dizileri hizalar ve öğretmenin çoklu jeton olasılıklarını, öğrencinin tek jeton dağılımıyla karşılaştırılabilecek tek bir dağılıma birleştirir.
Olasılık Birleştirme
Tek bir öğrenci jetonuna eşlenen [token₀, token₁, ..., tokenₖ] jetonlarından oluşan bir öğretmen dizisi için GOLD şu işlemi hesaplar:
P_merged(y) = P(y | context) × P(token₁ | token₀, context) × ... × P(tokenₖ | ..., context)burada:
P(y | context), ilk konumdaki tüm sözlük belirteçleri üzerindeki marjinal olasılık dağılımıdırP(tokenᵢ | ..., context), üretilen gerçek tokenların skaler koşullu olasılıklarıdır
Temel içgörü: Sadece gerçek devam jetonlarının koşullu olasılıkları skalerler olarak çıkarılır. İlk konumdaki tam marjinal dağılım, bu skaler olasılıklarla çarpılarak ölçeklendirilir.
Bununla şunlar sağlanır:
- Gerçek üretilen dizinin doğru ortak olasılığı (zincir kuralı ile)
- Makul yaklaşım karşıfaktüel jetonlar için (aynı devam olasılığıyla ölçeklenmiş)
- ULD kaybı hesaplama için doğru göreli olasılıkları koruyan normalize edilmemiş dağılımlar
Örnek
Verilen:
P(x₀): ["HF": 0.6, "is": 0.3, "cool": 0.1]
P(x₁ | "HF"): ["HF": 0.05, "is": 0.9, "cool": 0.05]0 ve 1 numaralı jetonlar birleştirildiyse ve asıl dizi ["HF", "is"] idiysa:
P_merged("HF") = 0.6 × 0.9 = 0.54 ✓ (correct joint probability)
P_merged("is") = 0.3 × 0.9 = 0.27
P_merged("cool") = 0.1 × 0.9 = 0.09Birleştirilmiş dağılım normalize edilmemiştir (toplamı 0.81'dir), ancak bu ULD kayıp hesabı için kasıtlı ve doğrudur; bu hesaplama sıralama ve L1 mesafesi kullanır.
Örnek betik
Komut satırından GOLD eğitimini başlatmak için examples/gold_chatbot_arena/gold_chatbot_arena.py dosyasını kullanın. Betik, standart ModelConfig bayrakları aracılığıyla tam eğitim ve LoRA'yı destekler.
python examples/gold_chatbot_arena/gold_chatbot_arena.py \
--model_name_or_path meta-llama/Llama-3.2-1B-Instruct \
--teacher_model_name_or_path Qwen/Qwen2-1.5B-Instruct \
--dataset_name trl-lib/chatbot_arena_completions \
--learning_rate 2e-5 \
--per_device_train_batch_size 4 \
--gradient_accumulation_steps 8 \
--output_dir gold-model \
--num_train_epochs 1 \
--push_to_hubGörsel Dil Modellerinin Eğitimi
experimental.gold.GOLDTrainer, VLM'den VLM'ye damıtma (distillation) destekler. Hem öğrenci hem de öğretmen, görsel-dil modelleri olmalıdır. Bir VLM eğitmek için, veri setinde image sütunu (örnek başına tek görsel) veya images sütunu (örnek başına görsel listesi) bulunmalıdır. Beklenen veri seti yapısı hakkında daha fazla bilgi için Veri Seti Biçimi — Görsel veri setleri bölümüne bakın.
Öğrenci ve öğretmen aynı mimariyi ve tokenizer'ı paylaşıyorsa (ör. Qwen3-VL-8B'den Qwen3-VL-2B'ye), standart genelleştirilmiş JSD kaybı doğrudan uygulanır. Farklı model_type değerlerine sahiplerse (ör. Qwen3-VL'den LFM2.5-VL'ye), Universal Logit Distillation ile cross-tokenizer hizalamayı etkinleştirmek için use_uld_loss=True ayarlayın. Görseller, her modelin kendi işlemcisi üzerinden ayrı ayrı işlenir.
from datasets import load_dataset
import torch
from transformers import AutoModelForImageTextToText, AutoProcessor
from trl.experimental.gold import GOLDConfig, GOLDTrainer
student_name = "Qwen/Qwen3-VL-2B-Instruct"
teacher_name = "Qwen/Qwen3-VL-8B-Instruct"
processor = AutoProcessor.from_pretrained(student_name, padding_side="left")
student_model = AutoModelForImageTextToText.from_pretrained(student_name, dtype=torch.bfloat16)
teacher_model = AutoModelForImageTextToText.from_pretrained(teacher_name, dtype=torch.bfloat16)
train_dataset = load_dataset("trl-lib/llava-instruct-mix", split="train")
trainer = GOLDTrainer(
model=student_model,
teacher_model=teacher_model,
args=GOLDConfig(
output_dir="gold-vlm-model",
max_length=None,
teacher_model_name_or_path=teacher_name,
use_uld_loss=False,
),
train_dataset=train_dataset,
processing_class=processor,
)
trainer.train()Aileler arası damıtma için use_uld_loss=True ve teacher_tokenizer_name_or_path değerlerini öğretmen model adıyla ayarlayın.
Komut satırından GOLD VLM eğitimini başlatmak için examples/gold_qwen3_vl/gold_qwen3_vl.py dosyasını kullanın:
# Same-family distillation (JSD loss, vLLM enabled)
torchrun --nproc_per_node 8 examples/gold_qwen3_vl/gold_qwen3_vl.py \
--student_model_name Qwen/Qwen3-VL-2B-Instruct \
--teacher_model_name Qwen/Qwen3-VL-8B-Instruct
# Cross-family distillation (ULD loss, local generation)
torchrun --nproc_per_node 8 examples/gold_qwen3_vl/gold_qwen3_vl.py \
--student_model_name LiquidAI/LFM2.5-VL-1.6B \
--teacher_model_name Qwen/Qwen3-VL-8B-Instruct \
--use_uld_loss \
--no-use_vllmVLM'ler için, görüntü token'ları dizinin istem (prompt) bölümünde yer aldığı ve sessizce atılabilme riski taşıdığından
truncation_mode='keep_end'desteklenmez. Bunun yerinetruncation_mode='keep_start'(varsayılan) kullanın veya experimental.gold.GOLDConfig içindemax_length=Noneolarak ayarlayın. Bu, modelin görüntü token'larını kısaltmadan tam dizi uzunluğunu işlemesine olanak tanır.GOLDConfig(max_length=None, ...)Tüm veri setinde kırpmanın görüntü belirteçlerini kaldırmayacağını doğruladığınızda yalnızca
max_lengthkullanın.
Mimari arası VLM damıtma işlemi
use_uld_loss=Trueparametresini gerektirir. ULD kaybı olmadan mimari arası damıtma işlemi denendiğinde eğitimci bir hata oluşturur.
GOLDTrainer
sınıf trl.experimental.gold.GOLDTrainer
< source >( model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.Module, str, NoneType] = Noneteacher_model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.Module, str] = Noneargs: trl.experimental.gold.gold_config.GOLDConfig | None = Nonedata_collator: collections.abc.Callable[[list[typing.Any]], dict[str, typing.Any]] | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | dict[str, datasets.arrow_dataset.Dataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.image_processing_utils.BaseImageProcessor | transformers.feature_extraction_utils.FeatureExtractionMixin | transformers.processing_utils.ProcessorMixin | None = Nonecompute_metrics: collections.abc.Callable[[transformers.trainer_utils.EvalPrediction], dict] | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR] = (None, None)preprocess_logits_for_metrics: collections.abc.Callable[[torch.Tensor, torch.Tensor], torch.Tensor] | None = Nonepeft_config: typing.Optional[ForwardRef('PeftConfig')] = None )
eğit
< source >( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput
Parametreler
- resume_from_checkpoint (
strveyabool, isteğe bağlı) —strise, önceki birTrainerörneği tarafından kaydedilen bir kontrol noktasının yerel yolu.boolise veTruedeğerine eşitse, önceki birTrainerörneği tarafından args.output_dir içinde kaydedilen son kontrol noktasını yükler. Mevcutsa, eğitim burada yüklenen model/optimizör/zamanlayıcı durumlarından devam eder. - trial (
optuna.Trialveyadict[str, Any], isteğe bağlı) — Hiperparametre araması için deneme çalışması veya hiperparametre sözlüğü. - ignore_keys_for_eval (
list[str], isteğe bağlı) — Eğitim sırasında değerlendirme için tahminleri toplarken göz ardı edilmesi gereken, model çıktısındaki (bir sözlükse) anahtarların listesi.
Dönüş değeri
~trainer_utils.TrainOutput
Küresel adım sayısını, eğitim kaybını ve metrikleri içeren nesne.
Ana eğitim giriş noktası.
Modeli kaydeder, böylece from_pretrained() kullanarak yeniden yükleyebilirsiniz.
Yalnızca ana süreçten kaydedecektir.
push_to_hub
< source >( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )
Parametreler
- commit_message (
str, isteğe bağlı, varsayılan"End of training") — İterlerken gönderilecek mesaj. - blocking (
bool, isteğe bağlı, varsayılanTrue) — Fonksiyonun yalnızcagit pushişlemi tamamlandığında mı değer döndürmesi gerektiğini belirtir. - token (
str, isteğe bağlı, varsayılanNone) — Trainer'ın orijinal argümanlarını üzerine yazma iznine sahip jeton. - revision (
str, isteğe bağlı) — Commit'in alınacağı git revizyonu. Varsayılan olarak “main” dalının başıdır. - private (
bool, isteğe bağlı) — Depo oluşturulurken özel yapılıp yapılmayacağı. Varsayılan olarakargs.hub_private_repodeğerini alır. Depo zaten mevcutsa hiçbir etkisi yoktur. - kwargs (
dict[str, Any], isteğe bağlı) —~Trainer.create_model_cardile birlikte iletilen ek anahtar kelime argümanları.
self.model ve self.processing_class öğelerini self.args.hub_model_id deposundaki 🤗 model hub'ına yükleyin.
GOLDConfig
sınıf trl.experimental.gold.GOLDConfig
< source >( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 1e-07lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Truelabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict[str, typing.Any] | str | None = Nonetrust_remote_code: bool = Falserouter_aux_loss_coef: float | None = Nonechat_template_path: str | None = Nonedataset_text_field: str = 'text'dataset_kwargs: dict[str, typing.Any] | str | None = Nonedataset_num_proc: int | None = Noneeos_token: str | None = Nonemax_length: int | None = 1024truncation_mode: str = 'keep_start'shuffle_dataset: bool = Falsepacking: bool = Falsepacking_strategy: str = 'bfd'padding_free: bool = Falsepad_to_multiple_of: int | str | None = 'auto'eval_packing: bool | None = Nonecompletion_only_loss: bool | None = Noneassistant_only_loss: bool = Falseloss_type: str = 'nll'activation_offloading: bool = Falsepad_token: str | None = Nonetemperature: float = 0.9top_p: float = 0.95top_k: int = 0lmbda: float = 0.5beta: float = 0.5max_completion_length: int = 128teacher_model_name_or_path: str | None = Noneteacher_model_revision: str | None = Noneteacher_model_init_kwargs: dict[str, typing.Any] | str | None = Noneteacher_tokenizer_name_or_path: str | None = Nonedisable_dropout: bool = Trueseq_kd: bool = Falseuse_privileged_context: bool = Falseteacher_prompt_template: str | None = Noneprivileged_context_column: str = 'privileged_context'num_generations: int = 1generation_batch_size: int | None = Noneuse_uld_loss: bool = Falseuld_token_merge_strategy: str = 'observed'use_extended_uld: bool = Trueuld_use_hybrid_loss: bool = Falseuld_hybrid_matched_weight: float | None = Noneuld_hybrid_unmatched_weight: float | None = Noneuld_crossentropy_weight: float = 0.0uld_distillation_weight: float = 1.0uld_student_temperature: float = 1.0uld_teacher_temperature: float = 1.0uld_skip_student_eos: bool = Trueuld_skip_teacher_eos: bool = Truextoken_loss_type: str = 'none'xtoken_projection_matrix_path: str | None = Nonextoken_temperature: float = 1.0xtoken_dynamic_scaling: bool = Truextoken_uncommon_topk: int = 8192xtoken_vocab_topk: int = 8192xtoken_kl_weight: float = 1.0xtoken_ce_scale: float = 0.1use_vllm: bool = Falsevllm_mode: str = 'colocate'vllm_server_base_url: str | None = Nonevllm_server_host: str = '0.0.0.0'vllm_server_port: int = 8001vllm_server_timeout: float = 240.0vllm_group_port: int = 51216vllm_gpu_memory_utilization: float = 0.9vllm_tensor_parallel_size: int = 1vllm_max_model_length: int | None = Nonevllm_model_impl: str = 'vllm'vllm_structured_outputs_regex: str | None = Nonevllm_sync_frequency: int = 1vllm_enable_sleep_mode: bool = Falselog_completions: bool = Falselog_completions_steps: int = 100num_completions_to_print: int | None = Nonewandb_log_unique_prompts: bool = Truecallbacks: list[str] = <factory> )
Üretimi ve eğitim döngüsünü kontrol eden parametreler
- temperature (
float, isteğe bağlı, varsayılan0.9) — Örnekleme için sıcaklık. Sıcaklık ne kadar yüksekse, tamamlamalar o kadar rastgele olur. - top_p (
float, isteğe bağlı, varsayılan0.95) — float < 1 olarak ayarlanırsa, olasılıklarıtop_pveya daha yüksek bir toplamda birleşen en küçük en olası token kümesi üretim için korunur. - top_k (
int, isteğe bağlı, varsayılan0) — Top-k filtreleme için en yüksek olasılığa sahip tutulacak sözlük belirteçlerinin sayısı.0ise top-k filtreleme devre dışı bırakılır ve tüm belirteçler dikkate alınır. - lmbda (
float, isteğe bağlı, varsayılan0.5) — Öğrenci veri oranını (yani, politika üzerinde üretilen öğrenci çıktılarının oranını) kontrol eden Lambda parametresi. - beta (
float, isteğe bağlı, varsayılan0.5) — Genelleştirilmiş Jensen-Shannon Divergence kaybının0.0ile1.0arasındaki interpolasyon katsayısı. beta0.0olduğunda, kayıp KL divergence'dır. beta1.0olduğunda, kayıp Inverse KL Divergence'dır. - max_completion_length (
int, isteğe bağlı, varsayılan128) — Tamamlama başına üretilecek maksimum token sayısı. - teacher_model_name_or_path (
str, isteğe bağlı) — Öğretmen modelinin adı veya yolu.Noneise, öğretmen modeli eğitilen modelle aynı olacaktır. - teacher_model_revision (
strorNone, isteğe bağlı, varsayılanNone) — Öğretmen modelinin revizyonu (ör. dal adı, etiket veya commit hash).Noneise varsayılan revizyon kullanılır. - teacher_model_init_kwargs (
dict[str, Any], isteğe bağlı) — Bir dizgeden öğretmen modelini örneklerkenAutoModelForCausalLM.from_pretrainedfonksiyonuna iletilecek anahtar kelime argümanları.revisiondeğeri, öğretmen işleme sınıfı yüklenirken de kullanılır. - teacher_tokenizer_name_or_path (
str, isteğe bağlı) — Öğretmen modeli için tokenizer adı veya yolu. ULD kaybı kullanılırken None ise, öğrenci modeliyle aynı tokenizer kullanılacaktır (çapraz tokenizer damıtması için önerilmez). - disable_dropout (
bool, isteğe bağlı, varsayılanTrue) — Modelde dropout'un devre dışı bırakılıp bırakılmayacağı. - seq_kd (
bool, isteğe bağlı, varsayılanFalse) — Sequence-Level KD'nin (öğretmen tarafından üretilen çıktı üzerinde denetimli FT olarak görülebilir) uygulanıp uygulanmayacağını kontrol eden Seq_kd parametresi. - use_privileged_context (
bool, isteğe bağlı, varsayılanFalse) — Öğrenci istemini değiştirmeden, öğretmenin örnek başına ayrıcalıklı bağlama koşullandırılıp koşulmayacağını belirtir. Bu, yalnızca metin için, off-policy standart JSD damıtma ile desteklenir. - teacher_prompt_template (
str, isteğe bağlı) — Öğretmen istemini oluşturmak için kullanılan şablon.{prompt}içermesi zorunludur ve{privileged_context}içerebilir.Noneolduğunda, varsayılan olarak"{prompt}\n\n{privileged_context}"kullanılır. - privileged_context_column (
str, isteğe bağlı, varsayılan"privileged_context") — Öğretmen istemini oluşturmak için kullanılan örnek başına ayrıcalıklı bağlamı içeren veri seti sütunu. - num_generations (
int, isteğe bağlı, varsayılan1) — İstek başına üretilen nesil sayısı. Her istek, üretim grubunda bu kadar kez tekrarlanır. - generation_batch_size (
intveyaNone, isteğe bağlı, varsayılanNone) — Optimizatör adımı başına işçi başına benzersiz istem sayısı.Noneise,(per_device_train_batch_size * gradient_accumulation_steps) // num_generationsifadesinden hesaplanır.
ULD kaybını kontrol eden parametreler
- use_uld_loss (
bool, isteğe bağlı, varsayılanFalse) — Generalized Jensen-Shannon Divergence kaybı yerine Universal Logit Distillation (ULD) kaybının kullanılıp kullanılmayacağı. - use_extended_uld (
bool, isteğe bağlı, varsayılanTrue) — Öğrenci ve öğretmen tokenizasyonları arasında token olasılıklarını hizalamak ve birleştirmek için tokenizörler kullanan genişletilmiş ULD hizalamasını etkinleştirip etkinleştirmeyeceğini belirtir.Trueolduğunda, eğitimci token eşlemelerini hesaplar ve bölünmüş tokenlar için olasılıkları birleştirir;Falseolduğunda, ULD orijinal ULD makalesindeki gibi basit konumsal kırpma kullanır. Ne ByteLevel ne de byte-fallback BPE olan tokenizörler (ör. Llama 2) içinFalseolarak ayarlayın. - uld_token_merge_strategy (
str, isteğe bağlı, varsayılan"observed") — ULD kaybında cevap logitlerini hizalamak ve token olasılıklarını birleştirmek için kullanılan strateji."observed"ile cevap logitleri, cevap konumlarında dilimlenir ve bölünmüş tokenlar (use_extended_uld=Trueolduğunda) ilk konumdaki marjinal dağılımın, sonraki gerçek tokenların skaler koşullu olasılıklarıyla çarpılması yoluyla birleştirilir."bayesian"ile cevap-logit dilimi bir konum öncesine kaydırılır, böyleceprobs[k]token_ids[k]’i tahmin eder (zincir kuralı) ve bölünmüş tokenlar, gerçek önek tokenlarına koşullu son konumun tam dağılımı ile, önceki tokenların skaler olasılıklarıyla çarpılarak birleştirilir. Logit hizalama kayması,use_extended_uldetkinleştirilip etkinleştirilmediğine bakılmaksızın uygulanır. - uld_use_hybrid_loss (
bool, isteğe bağlı, varsayılanFalse) — ULD kaybı ve JSD kaybını birleştiren hibrit bir kaybın kullanılıp kullanılmayacağını belirtir.Trueolduğunda, nihai kayıp, bilinen token eşlemeleri için JSD ve bilinmeyen token eşlemeleri için ULD'nin bir kombinasyonudur. - uld_hybrid_matched_weight (
floatveyaNone, isteğe bağlı) — Hibrit ULD + JSD kaybı kullanıldığında eşleşen token kaybı bileşeni için ağırlık. Bu ağırlık, öğrenci ve öğretmen tokenizasyonları arasında doğrudan bir eşleme bulunan tokenlar üzerinde hesaplanan JSD kaybını ölçekler.Noneise, sözlük örtüşmesine dayalı adaptif ağırlama kullanılır.uld_hybrid_unmatched_weightile birlikte ayarlanmalıdır (her ikisi deNoneveya her ikisi defloat). - uld_hybrid_unmatched_weight (
floatveyaNone, isteğe bağlı) — Hibrit ULD + JSD kaybı kullanıldığında eşleşmeyen token kaybı bileşeni için ağırlık. Bu ağırlık, öğrenci ve öğretmen tokenizasyonları arasında doğrudan bir eşleme bulunmayan tokenlar üzerinde hesaplanan ULD kaybını ölçekler.Noneise, sözlük örtüşmesine dayalı adaptif ağırlama kullanılır.uld_hybrid_matched_weightile birlikte ayarlanmalıdır (her ikisi deNoneveya her ikisi defloatolmalıdır). - uld_crossentropy_weight (
float, isteğe bağlı, varsayılan0.0) — ULD kaybında çapraz entropi kaybı bileşeni için ağırlık. 0 ise yalnızca ULD damıtma kaybı kullanılır. - uld_distillation_weight (
float, isteğe bağlı, varsayılan1.0) — ULD kaybında damıtma kaybı bileşeni için ağırlık. - uld_student_temperature (
float, isteğe bağlı, varsayılan1.0) — ULD kaybı hesaplamasında öğrenci logitleri için sıcaklık. - uld_teacher_temperature (
float, isteğe bağlı, varsayılan1.0) — ULD kaybı hesaplamasında öğretmen logitleri için sıcaklık. - uld_skip_student_eos (
bool, isteğe bağlı, varsayılanTrue) — ULD kaybı hesaplamasında öğrenci için EOS token'ının atlanıp atlanmayacağı. - uld_skip_teacher_eos (
bool, isteğe bağlı, varsayılanTrue) — ULD kaybı hesaplamasında öğretmen için EOS token'ının atlanıp atlanmayacağı.
X-Token cross-tokenizer KD için parametreler (https
- xtoken_loss_type (
str, isteğe bağlı, varsayılan"none") — Cross-tokenizer KD varyantı:"none"(devre dışı),"p_kl"(projection KL) veya"h_kl"(gevşetilmiş ortak küme ile hibrit KL).teacher_tokenizer_name_or_pathvextoken_projection_matrix_pathgerektirir. - xtoken_projection_matrix_path (
str, isteğe bağlı) — Önceden hesaplanmış bir projeksiyon matrisi dosyasının yolu.xtoken_loss_type != "none"olduğunda zorunludur. - xtoken_temperature (
float, isteğe bağlı, varsayılan1.0) — X-Token KD kaybı için sıcaklık T; kayıp T² ile çarpılır (Hinton 2015). - xtoken_dynamic_scaling (
bool, isteğe bağlı, varsayılanTrue) — Kayıp büyüklüklerini dengelemek için (kağıt Denk. 7) KD'yi her mikrotoplu içinstop_gradient(abs(CE) / abs(KD))ile ölçekler. - xtoken_uncommon_topk (
int, isteğe bağlı, varsayılan8192) — H-KL: sıralanmış-L1 nadir karşılaştırmasını, her taraf için en üst-k token'a sınırlar. - xtoken_vocab_topk (
int, isteğe bağlı, varsayılan8192) — P-KL: KL'yi, en yüksek logit'e göre küresel üst-k öğretmen tokenlarına kısıtlar.--top-kprojeksiyon matrisiyle etkileşime girer: matrisin erişim alanı dışındaki öğretmen tokenları, projekte edilmiş öğrenci kütlesinde neredeyse sıfıra yakın değer alır ve KL'yi baskı altına alır; bu nedenle daha küçük değerler, kaybı öğrencinin eşleştirebileceği tokenlara yoğunlaştırır. - xtoken_kl_weight (
float, isteğe bağlı, varsayılan1.0) —xtoken_dynamic_scaling=Falseolduğunda X-Token KD terimi için ağırlık. - xtoken_ce_scale (
float, isteğe bağlı, varsayılan0.1) —xtoken_dynamic_scaling=Falseolduğunda X-Token kaybındaki CE terimi için ölçekleme faktörü.
vLLM entegrasyonunu kontrol eden parametreler
- use_vllm (
bool, isteğe bağlı, varsayılanFalse) — Öğrenci modelden tamamlamalar üretmek için vLLM kullanılacak mı? Bunun içinvllm'in yüklü olması gerekir. - vllm_mode (
str, isteğe bağlı, varsayılan"colocate") — Öğrenci vLLM entegrasyonu için mod. Ya"server"(çalışan bir vLLM sunucusuna bağlan) ya da"colocate"(vLLM'yi aynı süreçte çalıştır). - vllm_server_host (
str, isteğe bağlı, varsayılan"0.0.0.0") — Öğrenci modeli için vLLM sunucusunun ana makinesi (eğervllm_mode="server"ise). - vllm_server_port (
int, isteğe bağlı, varsayılan8001) — Öğrenci modeli için vLLM sunucusunun portu (vllm_mode="server"ise). - vllm_server_timeout (
float, isteğe bağlı, varsayılan240.0) — Öğrenci vLLM sunucusuna bağlanma zaman aşımı (vllm_mode="server"ise). - vllm_gpu_memory_utilization (
float, isteğe bağlı, varsayılan0.9) — Aynı konumda bulunan öğrenci vLLM motoru için GPU bellek kullanımı (vllm_mode="colocate"ise). Öğrenci ve öğretmen modelleri aynı GPU'yu paylaşıyorsa bu değerin düşük bir değere ayarlanması önerilir. - vllm_tensor_parallel_size (
int, isteğe bağlı, varsayılan1) — Yerleşik (colocated) öğrenci vLLM motoru için tensör paralel boyutu (vllm_mode="colocate"ise). - vllm_structured_outputs_regex (
str, isteğe bağlı) — Öğrenci modeli için vLLM yapılandırılmış çıktıları için regex. - vllm_server_base_url (
str, isteğe bağlı) — vLLM sunucusu için temel URL (ör."http://localhost:8001"). Verildiğindevllm_server_hostvevllm_server_portyok sayılır. - vllm_group_port (
int, isteğe bağlı, varsayılan51216) — vLLM ağırlık güncelleme grubu (NCCL iletişimcisi) için port. Port meşgul değilse değiştirmeye gerek yoktur. - vllm_max_model_length (
int, isteğe bağlı) —vllm_mode="colocate"olduğunda, yerleşik (colocated) vLLM motoru için maksimum model dizisi uzunluğu. Varsayılan olarak modelin maksimum bağlam uzunluğuna ayarlanır. - vllm_model_impl (
str, isteğe bağlı, varsayılan"vllm") — vLLM'de kullanılacak model uygulama arka ucu."vllm"(varsayılan) veya"transformers"kullanın. - vllm_sync_frequency (
int, isteğe bağlı, varsayılan1) — Öğrenci model ağırlıklarının vLLM motoruyla senkronize edilme sıklığı (eğitim adımı cinsinden). Her adımdan sonra senkronize etmek için 1 olarak ayarlayın. - vllm_enable_sleep_mode (
bool, isteğe bağlı, varsayılanFalse) — Optimizatör adımında öğrenci ağırlıklarını/önbelleğini dışarı aktarmak için vLLM uyku modunu etkinleştirir. GPU bellek kullanımını düşük tutar, ancak motorun uyanması ev sahibi–cihaz aktarma gecikmesi ekler.
Kayıt tutmayı kontrol eden parametreler
- log_completions (
bool, isteğe bağlı, varsayılanFalse) — Herlogging_stepsadımında (prompt, completion) çiftlerinin bir örneğinin günlüğe kaydedilip kaydedilmeyeceğini belirtir.richyüklüyse, örneği yazdırır.wandbgünlüğü etkinleştirildiyse,wandbüzerinden kaydeder. - log_completions_steps (
int, isteğe bağlı, varsayılan100) — Kayıt altına alınan (prompt, completion) çiftleri arasındaki adım sayısı. Yalnızcalog_completionsdeğeriTrueolarak ayarlanırsa kullanılır. - num_completions_to_print (
intorNone, isteğe bağlı) —richile yazdırılacak tamamlama sayısı.Noneise tüm tamamlamalar günlüğe kaydedilir. - wandb_log_unique_prompts (
bool, isteğe bağlı, varsayılanTrue) — Benzersiz istemlerin wandb'ye kaydedilip kaydedilmeyeceğini belirtir. Bu, her benzersiz istem için yeni bir çalışma oluşturur. - callbacks (
list[str], isteğe bağlı, varsayılan[]) — Eğitim sırasında çalıştırılacak geri bildirimler.
experimental.gold.GOLDTrainer için yapılandırma sınıfı.
Bu sınıf yalnızca GOLD eğitimine özgü parametreleri içerir. Eğitim argümanlarının tam listesi için lütfen TrainingArguments ve SFTConfig belgelerine başvurun.
Bu parametrenin TrainingArguments'ten farklı varsayılan değerleri vardır:
learning_rate: Varsayılan olarak5e-5yerine1e-7olarak ayarlanır.