TRL documentation

SDPO

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

SDPO

Метод оптимизации политики с самодистилляцией (SDPO) был предложен в работе Reinforcement Learning via Self-Distillation авторами Jonas Hübotter, Frederike Lübeck, Lejs Behric, Anton Baumann, Marco Bagatella, Daniel Marta, Ido Hakimi, Idan Shenfeld, Thomas Kleine Buening, Carlos Guestrin и Andreas Krause.

Крупные языковые модели всё чаще проходят постобучение с использованием обучения с подкреплением в верифицируемых областях, таких как код и математика. Однако текущие методы обучения с подкреплением с верифицируемыми наградами (RLVR) извлекают информацию только из скалярной награды за результат каждого попытки, что создаёт серьёзную проблему с назначением заслуг (credit assignment). Многие верифицируемые среды на самом деле предоставляют богатую текстовую обратную связь, такую как ошибки времени выполнения или оценки судьи, объясняющие, почему попытка провалилась. Мы формализуем эту постановку как обучение с подкреплением с богатой обратной связью и предлагаем метод Self-Distillation Policy Optimization (SDPO), который преобразует токенизированную обратную связь в плотный сигнал обучения без внешнего учителя или явной модели наград. SDPO рассматривает текущую модель, обусловленную обратной связью, как самоучителя и дистиллирует её предсказания следующего токена, основанные на обратной связи, обратно в политику. Таким образом, SDPO использует способность модели ретроспективно выявлять собственные ошибки в контексте. На задачах научного рассуждения, использования инструментов и соревновательного программирования на LiveCodeBench v6 SDPO повышает эффективность использования выборок и итоговую точность по сравнению с сильными базовыми методами RLVR. Примечательно, что SDPO также превосходит базовые методы в стандартных средах RLVR, возвращающих только скалярную обратную связь, используя успешные прокрутки (rollouts) в качестве неявной обратной связи для неудачных попыток. Наконец, применение SDPO к отдельным вопросам на этапе тестирования ускоряет поиск решений на сложных задачах с бинарной наградой, достигая той же вероятности обнаружения, что и выбор лучшего из k (best-of-k) или многоходовые диалоги, но с 3-кратным уменьшением числа попыток.

Как это работает

SDPO ориентирован на обучение с подкреплением с проверяемыми наградами (RLVR), где каждая попытка даёт лишь разреженную скалярную награду. Метод превращает её в плотный сигнал на уровне токенов: для каждого промпта политика генерирует num_generations завершений, которые оцениваются функциями reward_funcs; успешный роллаут (плюс необязательная обратная связь privileged_context) становится повторным запросом для учителя, а распределение учителя, сформированное с учётом обратной связи, дистиллируется обратно в политику. Учитель и ученик — одна и та же нейросеть, поэтому, помимо верификатора, не требуется внешний учитель или модель наград.

Режимы потерь и учитель

distillation_weight управляет тем, как два сигнала комбинируются в виде выпуклой комбинации: функция потерь равна (1 - distillation_weight) * policy_loss + distillation_weight * distillation_loss. Значение 1.0 (по умолчанию) обучает модель исключительно на потере само-дистилляции, 0.0 откатывается к стандартному градиенту политики в стиле GRPO, а промежуточные значения смешивают оба сигнала. Сама цель дистилляции задается параметром distillation_mode — "sampled_token" (по умолчанию) использует обратный KL на уровне токенов и требует distillation_alpha=1.0, тогда как "full_logits" и "topk_logits" дистиллируют по всему словарю или по топ-distillation_topk токенам.

teacher_model_kind определяет веса учителя: "ema" (по умолчанию) отслеживает студента с помощью экспоненциального скользящего среднего, синхронизируемого каждые teacher_sync_steps шагов с коэффициентом teacher_update_rate, "live" напрямую использует текущую модель студента, а "base" фиксирует начальные веса. Повторный запрос управляется параметрами use_successful_as_teacher, success_reward_threshold, dont_reprompt_on_self_success и строками reprompt_template / solution_template / feedback_template. По умолчанию генерация выполняется через transformers, либо через vLLM (в режиме colocate или server), если задано use_vllm=True.

Ожидаемые столбцы набора данных

Каждый пример должен содержать:

  • prompt: промпт для студента
  • privileged_context: необязательный привилегированный текст, например, обратная связь от среды, используется при include_environment_feedback=True

Использование

from datasets import Dataset

from trl.experimental.sdpo import SDPOConfig, SDPOTrainer

dataset = Dataset.from_dict(
    {
        "prompt": [[{"role": "user", "content": "Solve 2+2."}]],
        "privileged_context": ["Your earlier answer used the wrong format."],
    }
)

training_args = SDPOConfig(
    output_dir="sdpo-model",
    distillation_mode="topk_logits",       # Explicitly select top-K logit distillation
    distillation_topk=100,                 # Required when using top-K logit distillation
    include_environment_feedback=True,     # Use dataset privileged_context for teacher reprompts
)

trainer = SDPOTrainer(
    model="Qwen/Qwen2.5-1.5B-Instruct",
    reward_funcs=reward_func,
    args=training_args,
    train_dataset=dataset,
)
trainer.train()

SDPO всегда требует столбец prompt. Чтобы использовать обратную связь от среды, также включите столбец privileged_context и установите include_environment_feedback=True. SDPO будет использовать успешные развёртки и, при включённом режиме, этот текст для построения teacher-запросов для самодистилляции.

Запуск учителя с сервера vLLM

При teacher_model_kind="live" учителем выступает текущий студент, веса которого уже хранятся на сервере server vLLM (они синхронизируются для генерации на каждом шаге). Установите use_teacher_server=True, чтобы оценивать лог-вероятности учителя на этом же сервере, а не выполнять отдельный локальный прямой проход учителя, полностью исключая учителя из шага обучения:

training_args = SDPOConfig(
    output_dir="sdpo-model",
    use_vllm=True,
    vllm_mode="server",
    teacher_model_kind="live",
    use_teacher_server=True,
    distillation_weight=1.0,
    distillation_mode="sampled_token",
)

При использовании сервера-учителя:

  • use_vllm=True и vllm_mode="server" являются обязательными
  • teacher_model_kind должен быть "live" (сервер хранит текущие веса ученика)
  • distillation_weight должен быть равен 1.0 (чистая дистилляция; для выпуклой смеси с потерей политики требуются логиты по всему словарю)
  • distillation_mode должен быть "sampled_token" (обратный KL по реализованному токену) или "topk_logits". Сервер возвращает собственные top-k log-probs учителя, поэтому topk_logits дистиллирует по top-k поддержке учителя (в отличие от локальной цели, использовать поддержку студента нельзя); при учителе "live" эти две поддержки практически совпадают. full_logits недоступен.

Обработчики событий

Тренер предоставляет небольшой набор хуков обратного вызова, полезных для отладки, наблюдаемости и тестирования. Эти хуки предназначены в качестве практических точек интеграции для экспериментальных рабочих процессов само-дистилляции.

Общие хуки самодистилляции:

  • on_self_distillation_batch_prepared: срабатывает, когда батч для self-distillation готов. В полезной нагрузке содержатся prompt_ids, completion_ids и old_per_token_logps, если доступны входные данные для обрезания при importance sampling.
  • on_generation_batch_built: срабатывает при создании нового буферизованного батча генерации. В полезной нагрузке содержатся generate_every и steps_per_generation.

Специфический для SDPO хук:

  • on_teacher_context_built: срабатывает после того, как SDPO формирует входные данные с условием учителя. В полезную нагрузку входят teacher_input_ids, teacher_attention_mask, completion_mask и self_distillation_mask.

Пример скрипта

Используйте examples/sdpo_math/sdpo_math.py для запуска обучения SDPO из командной строки. Скрипт поддерживает проверяемые математические награды, обратную связь от среды через --feedback_column и PEFT/LoRA через стандартные флаги ModelConfig.

python examples/sdpo_math/sdpo_math.py \
    --model_name_or_path Qwen/Qwen2.5-Math-1.5B-Instruct \
    --dataset_name openai/gsm8k \
    --dataset_config main \
    --output_dir outputs/sdpo-qwen35-2b-gsm8k \
    --learning_rate 5e-5 \
    --dtype bfloat16 \
    --bf16 true \
    --max_completion_length 128 \
    --use_peft \
    --lora_target_modules q_proj k_proj v_proj o_proj gate_proj up_proj down_proj \
    --per_device_train_batch_size 1 \
    --gradient_accumulation_steps 2 \
    --num_generations 8 \
    --generation_batch_size 32 \
    --distillation_alpha 1.0 \
    --distillation_mode sampled_token \
    --distillation_weight 0.5 \
    --report_to none \
    --eval_strategy steps \
    --eval_steps 1000 \
    --save_strategy no

SDPOConfig

класс trl.experimental.sdpo.SDPOConfig

< >

( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 5e-05lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Falselabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict[str, typing.Any] | None = Nonetrust_remote_code: bool = Falsedisable_dropout: bool = Truemax_prompt_length: int | None = 512num_generations: int = 8num_generations_eval: int | None = Nonemax_completion_length: int | None = 256ds3_gather_for_generation: bool = Trueshuffle_dataset: bool = Truegeneration_batch_size: int | None = Nonesteps_per_generation: int | None = Nonetemperature: float = 1.0top_p: float = 1.0top_k: int = 0min_p: float | None = Nonegeneration_kwargs: dict[str, typing.Any] | None = Nonechat_template_kwargs: dict[str, typing.Any] | None = Nonerepetition_penalty: float = 1.0cache_implementation: str | None = Noneuse_vllm: bool = Falseuse_teacher_server: bool = Falsevllm_mode: str = 'colocate'vllm_model_impl: str = 'vllm'vllm_enable_sleep_mode: bool = Falsevllm_server_base_url: str | None = Nonevllm_server_host: str = '0.0.0.0'vllm_server_port: int = 8000vllm_group_port: int = 51216vllm_server_timeout: float = 240.0vllm_tensor_parallel_size: int = 1vllm_gpu_memory_utilization: float = 0.3vllm_max_model_length: int | None = Nonenum_iterations: int = 1loss_type: str = 'dapo'mask_truncated_completions: bool = Falsedont_reprompt_on_self_success: bool = Truebeta: float = 0.0epsilon: float = 0.2epsilon_high: float | None = Noneimportance_sampling_level: str = 'token'reward_weights: list[float] | None = Nonescale_rewards: str = 'group'distillation_alpha: float = 1.0distillation_mode: typing.Literal['sampled_token', 'full_logits', 'topk_logits'] = 'sampled_token'distillation_topk: int | None = Nonedistillation_is_clip: float | None = 2.0distillation_add_tail: bool = Falsedistillation_weight: float = 1.0teacher_model_kind: str = 'ema'teacher_update_rate: float = 0.05teacher_sync_steps: int = 1max_reprompt_len: int = 10240use_successful_as_teacher: bool = Truesuccess_reward_threshold: float = 1.0reprompt_template: str = '{prompt}{solution}{feedback}\n\nCorrectly solve the original question.\n'solution_template: str = '\nCorrect solution:\n\n{successful_previous_attempt}\n\n'feedback_template: str = '\nThe following is feedback from your unsuccessful earlier attempt:\n\n{feedback_raw}\n\n'include_environment_feedback: bool = Falseenvironment_feedback_only_without_solution: bool = Falseremove_thinking_from_demonstration: bool = Falsediagnostics_warning_interval: int = 10diagnostics_flat_tolerance: float = 1e-08 )

Параметры, управляющие целевой функцией онлайн-политики

  • beta (float, необязательный, по умолчанию 0.0) — коэффициент KL. Если 0.0 (по умолчанию), референсная модель не загружается, что снижает потребление памяти и повышает скорость обучения. DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning используют значение 0.001.
  • epsilon (float, необязательный, по умолчанию 0.2) — Значение эпсилона для обрезания.
  • epsilon_high (float, необязательный) — Верхнее значение epsilon для обрезки. Если не указано, по умолчанию используется то же значение, что и нижняя граница, заданная в аргументе epsilon. В статье DAPO рекомендуется 0.28.
  • importance_sampling_level (str, необязательный, по умолчанию "token") — Управляет тем, на каком уровне вычисляются коэффициенты importance sampling: на уровне 'token' или 'sequence'. 'token' сохраняет исходные отношения лог-вероятностей для каждого токена (один вес на токен). 'sequence' усредняет отношения лог-вероятностей по всем валидным токенам, чтобы получить одно отношение на последовательность. Статья GSPO показывает, что выборка на уровне последовательности часто обеспечивает более стабильное обучение и лучшее согласование с наградами на уровне последовательности.
  • reward_weights (list[float], необязательный) — Веса для каждой функции вознаграждения. Количество должно совпадать с числом функций вознаграждения. Если None, все вознаграждения взвешиваются одинаково с весом 1.0.
  • scale_rewards (str or bool, необязательный, по умолчанию "group") — Определяет стратегию масштабирования наград. Поддерживаемые значения: True или 'group' (по умолчанию): награды масштабируются по стандартному отклонению внутри каждой группы, что обеспечивает единичную дисперсию внутри группы. 'batch': награды масштабируются по стандартному отклонению для всей выборки, как рекомендуется в статье PPO Lite. False или 'none': масштабирование не применяется. Статья Dr. GRPO рекомендует не масштабировать награды, так как масштабирование по стандартному отклонению вносит смещение, связанное со сложностью вопроса.

Параметры, управляющие потерей SDPO

  • distillation_weight (float, необязательный, по умолчанию 1.0) — Вес выпуклой комбинации между целями политики и самодистилляции. Потери вычисляются как (1 - distillation_weight) * policy_loss + distillation_weight * distillation_loss. Значение должно находиться в диапазоне [0, 1]. 1.0 (по умолчанию) обучает исключительно на самодистилляции, 0.0 возвращает к стандартному градиенту политики в стиле GRPO, а промежуточные значения смешивают оба подхода.
  • distillation_alpha (float, необязательный, по умолчанию 1.0) — Коэффициент интерполяции расхождения. Для SDPO с выборкой токенов требуется официальная настройка reverse-KL distillation_alpha=1.0.
  • distillation_mode (Literal["sampled_token", "full_logits", "topk_logits"], необязательный, по умолчанию "sampled_token") — Режим целевой функции дистилляции. sampled_token — это режим SDPO по умолчанию, для которого требуется distillation_alpha=1.0.
  • distillation_topk (int, необязательный) — Приближение top-k для SDPO на уровне логитов. Должно быть задано, если distillation_mode=topk_logits, и оставлено пустым в остальных случаях.
  • distillation_is_clip (float, необязательный, по умолчанию 2.0) — Коэффициент обрезки для importance sampling в self-distillation. None отключает обрезку.
  • distillation_add_tail (bool, необязательный, по умолчанию False) — Добавлять ли хвостовое ведро для вероятностной массы, не входящей в топ-k.

Параметры, управляющие учителем

  • teacher_model_kind (str, необязательный, по умолчанию "ema") — Выбор семантического учителя. base использует исходного студента, live — текущего студента, а ema — учителя с экспоненциальным усреднением.
  • teacher_update_rate (float, необязательный, по умолчанию 0.05) — Скорость обновления учителя, используемая для синхронизации учителя EMA.
  • teacher_sync_steps (int, необязательный, по умолчанию 1) — Как часто синхронизировать модель-учителя EMA.

Параметры, управляющие повторным запросом

  • use_successful_as_teacher (bool, необязательный, по умолчанию True) — Использовать успешные rollout'ы в качестве неявной обратной связи для самодистилляции.
  • success_reward_threshold (float, необязательный, по умолчанию 1.0) — Минимальное вознаграждение, при котором rollout считается успешной демонстрацией.
  • dont_reprompt_on_self_success (bool, необязательный, по умолчанию True) — Пропускать повторный запрос, если модель сгенерировала правильный ответ.
  • max_reprompt_len (int, необязательный, по умолчанию 10240) — Максимальная длина для повторного промптинга при само-дистилляции.
  • reprompt_template (str, необязательный, по умолчанию "{prompt}{solution}{feedback}\n\nCorrectly solve the original question.\n") — Шаблон для повторного запроса к учителю с успешной демонстрацией.
  • solution_template (str, необязательный, по умолчанию "\nCorrect solution -- \n\n{successful_previous_attempt}\n\n"): шаблон для форматирования текста успешной демонстрации.
  • feedback_template (str, необязательный, по умолчанию "\nThe following is feedback from your unsuccessful earlier attempt -- \n\n{feedback_raw}\n\n"): шаблон для форматирования обратной связи от среды для повторного запроса.
  • include_environment_feedback (bool, необязательный, по умолчанию False) — Включать ли обратную связь от среды в повторные запросы к учителю, если она доступна.
  • environment_feedback_only_without_solution (bool, необязательный, по умолчанию False) — Использовать ли обратную связь только в том случае, если успешное решение недоступно.
  • remove_thinking_from_demonstration (bool, необязательный, по умолчанию False) — Удалять ли блоки <think>…</think> из текста демонстрации.

Параметры, управляющие диагностикой

  • diagnostics_warning_interval (int, необязательный, по умолчанию 10) — Выводить повторяющиеся диагностические сообщения тренера каждые N последовательных вырожденных шагов. Установите 0, чтобы отключить.
  • diagnostics_flat_tolerance (float, необязательный, по умолчанию 1e-8) — Допустимое отклонение, используемое для определения того, является ли дисперсия вознаграждения или активность повторных запросов практически нулевой.

Параметры, управляющие моделью

  • model_init_kwargs (dict[str, Any], необязательный) — Параметры-ключи для transformers.AutoModelForCausalLM.from_pretrained, используемые, когда аргумент model в SDPOTrainer передан в виде строки. Значение revision также используется при загрузке классов обработки.
  • trust_remote_code (bool, optional, defaults to False) — Whether to allow loading models and tokenizers that ship custom Python code from the Hub. Forwarded to from_pretrained and from_pretrained. Also applied to reward-model and reward-tokenizer loads.
  • disable_dropout (bool, необязательный, по умолчанию True) — Определяет, следует ли отключить dropout в модели. Это полезно при обучении с опорной моделью, так как предотвращает генерацию моделью различных logprobs для одного и того же входа.

Параметры, управляющие предобработкой данных

  • remove_unused_columns (bool, необязательный, по умолчанию False) — Определяет, следует ли в наборе данных оставлять только столбец ‘prompt’. Если вы используете пользовательскую функцию вознаграждения, которая требует столбец, отличный от ‘prompts’ и ‘completions’, оставьте это значение равным False.
  • max_prompt_length (int, необязательный, по умолчанию 512) — Максимальная длина промпта. Более длинные промпты обрезаются слева.
  • shuffle_dataset (bool, необязательный, по умолчанию True) — Определяет, следует ли перемешивать обучающий набор данных.

Параметры, управляющие генерацией

  • num_generations (int, необязательный, по умолчанию 8) — Количество генераций для выборки. Эффективный размер батча (num_processes per_device_batch_size gradient_accumulation_steps) должен делиться на это значение без остатка.
  • num_generations_eval (int, необязательный) — Количество генераций для выборки во время оценки. Это позволяет использовать меньшее количество генераций при оценке, чтобы сэкономить вычислительные ресурсы. Если None, используется значение num_generations.
  • max_completion_length (int, необязательный, по умолчанию 256) — Максимальная длина сгенерированного завершения.
  • temperature (float, необязательный, по умолчанию 1.0) — Температура для выборки. Чем выше температура, тем более случайными будут завершения.
  • top_p (float, необязательный, по умолчанию 1.0) — Число с плавающей точкой, управляющее накопленной вероятностью верхних токенов, которые следует учитывать. Должно находиться в интервале (0, 1]. Установите значение 1.0, чтобы учитывать все токены.
  • top_k (int, необязательный, по умолчанию 0) — Количество токенов словаря с наивысшей вероятностью, которые сохраняются для фильтрации top-k. Если 0, фильтрация top-k отключается и учитываются все токены.
  • min_p (float, необязательный) — Минимальная вероятность токена, которая масштабируется вероятностью наиболее вероятного токена. Значение должно находиться в диапазоне от 0.0 до 1.0. Типичные значения лежат в диапазоне 0.01–0.2.
  • repetition_penalty (float, необязательный, по умолчанию 1.0) — Число с плавающей точкой, которое штрафует новые токены в зависимости от того, присутствуют ли они в исходном запросе и в уже сгенерированном тексте. Значения > 1.0 побуждают модель использовать новые токены, а значения < 1.0 — повторять токены.
  • cache_implementation (str, необязательный) — Реализация метода кэширования для более быстрого генерирования, когда use_vllm установлено в False.
  • generation_kwargs (dict[str, Any], необязательный) — Дополнительные именованные аргументы для передачи в GenerationConfig (при использовании transformers) или SamplingParams (при использовании vLLM) при генерации завершений. Это позволяет дополнительно настраивать поведение генерации, например, устанавливать suppress_tokens, num_beams и т. д. Если в словаре содержатся ключи, конфликтующие с другими параметрами генерации (например, min_p, top_p и т. д.), они будут иметь приоритет.
  • chat_template_kwargs (dict[str, Any], необязательный) — Дополнительные именованные аргументы для передачи в функцию apply_chat_template при генерации ответов.
  • ds3_gather_for_generation (bool, необязательный, по умолчанию True) — Этот параметр относится к DeepSpeed ZeRO-3. Если включен, веса модели политики собираются для генерации, что повышает скорость генерации. Однако отключение этого параметра позволяет обучать модели, превышающие VRAM-емкость одного GPU, хотя и за счет более медленной генерации. Отключение этого параметра несовместимо с генерацией vLLM.

Параметры, управляющие ускорением генерации на базе vLLM

  • use_vllm (bool, необязательный, по умолчанию False) — Использовать ли vLLM для генерации завершений. Если установлено в True, тренер будет использовать vLLM для генерации вместо стандартного model.generate(). Требуется установка vllm.
  • use_teacher_server (bool, необязательный, по умолчанию False) — Вычисляет logprobs учителя из работающего сервера генерации vLLM, а не через локальный прямой проход учителя. Поддерживается только для teacher_model_kind='live' с use_vllm=True, vllm_mode='server', distillation_weight=1.0 (чистая дистилляция) и distillation_mode в {‘sampled_token’, ‘topk_logits’} (сервер возвращает top-k logprobs учителя, а не полное пространство символов; topk_logits дистиллирует по собственному top-k подмножеству учителя).
  • vllm_mode (str, необязательный, по умолчанию "colocate") — Режим, используемый для интеграции с vLLM, когда use_vllm установлен в True. Должно быть одно из значений 'server' или 'colocate'. 'server': Тренер будет отправлять запросы на генерацию отдельному серверу vLLM. Убедитесь, что сервер vLLM запущен (запустите с помощью vllm serve). 'colocate': vLLM будет работать в том же процессе и использовать те же GPU, что и обучение. Это избавляет от необходимости в отдельном сервере, но может привести к конкуренции за ресурсы с процессом обучения.
  • vllm_model_impl (str, необязательный, по умолчанию "vllm") — Реализация модели для vLLM. Должно быть одним из transformers или vllm. transformers: Использовать бэкенд transformers для реализации модели. vllm: Использовать библиотеку vllm для реализации модели.
  • vllm_enable_sleep_mode (bool, необязательный, по умолчанию False) — Включает режим сна vLLM для выгрузки весов/кэша во время шага оптимизатора. Держит использование памяти GPU на низком уровне, но пробуждение движка добавляет задержку на передачу данных между хостом и устройством.
  • vllm_server_base_url (str, необязательный) — Базовый URL для сервера vLLM (например, ‘http://localhost:8000’). Если указан, vllm_server_host и vllm_server_port игнорируются.
  • vllm_server_host (str, необязательный, по умолчанию "0.0.0.0") — Хост сервера vLLM, к которому следует подключиться. Игнорируется, если указано vllm_server_base_url.
  • vllm_server_port (int, необязательный, по умолчанию 8000) — Порт сервера vLLM для подключения. Игнорируется, если указано vllm_server_base_url.
  • vllm_group_port (int, необязательный, по умолчанию 51216) — Номер порта для группы обновления весов. Используется для связи с сервером vLLM. Если порт свободен, менять его не нужно.
  • vllm_server_timeout (float, необязательный, по умолчанию 240.0) — Общее время ожидания в секундах, пока сервер vLLM не станет доступным. Если сервер не запустится по истечении указанного времени, будет выброшено исключение ConnectionError.
  • vllm_tensor_parallel_size (int, необязательный, по умолчанию 1) — Управляет размером тензорного параллелизма для vLLM. Этот параметр применяется только при установке vllm_mode в значение 'colocate'. Если вы используете vllm_mode='server', этот параметр необходимо передавать отдельно при запуске сервера vLLM с помощью флага --vllm_tensor_parallel_size.
  • vllm_gpu_memory_utilization (float, необязательный, по умолчанию 0.3) — Управляет использованием памяти GPU в vLLM. Этот параметр применяется только при установке vllm_mode в значение 'colocate'. Если вы используете vllm_mode='server', этот параметр необходимо передавать отдельно при запуске сервера vLLM с помощью флага --vllm_gpu_memory_utilization.
  • vllm_max_model_length (int, необязательный) — Оконно контекста для vLLM. Установите значение не менее максимальной длины промпта в наборе данных плюс max_completion_length; если параметр не указан, он вычисляется из конфигурации модели.

Параметры, управляющие обучением

  • loss_type (str, необязательный, по умолчанию "dapo") — Определяет формулу потерь, которую следует использовать. Поддерживаемые значения: ‘grpo’, ‘bnpo’, ‘dr_grpo’ и ‘dapo’. ‘grpo’: Агрегирует потери на уровне токенов, нормализуя их по длине последовательности. Не рекомендуется из-за смещения по длине: такой подход склонен отдавать предпочтение более коротким завершениям с положительными преимуществами и более длинным — с отрицательными. ‘dapo’ (по умолчанию): Агрегирует потери на уровне токенов, нормализуя их по количеству активных токенов в глобальном накопленном батче. Этот метод был предложен в статье DAPO для устранения смещения по длине. ‘dr_grpo’: Агрегирует потери на уровне токенов, нормализуя их глобальной константой. Этот метод был предложен в статье Dr. GRPO для устранения смещения по длине. Значение константы соответствует max_completion_length. ‘bnpo’: Агрегирует потери на уровне токенов, нормализуя их по количеству активных токенов в локальном батче. Обратите внимание, что нормализация выполняется только по локальному батчу, поэтому результаты могут немного варьироваться в зависимости от размера локального батча, несмотря на постоянный эффективный размер батча. При использовании per_device_train_batch_size==1 потери эквивалентны потерям GRPO.
  • num_iterations (int, необязательный, по умолчанию 1) — Количество итераций на каждый пакет (обозначается как μ в алгоритме).
  • generation_batch_size (int, необязательный) — Размер батча, используемый для генерации. Если None, по умолчанию используется эффективный размер обучающего батча: per_device_train_batch_size * num_processes * steps_per_generation.
  • steps_per_generation (int, необязательный) — Количество шагов на генерацию. Если None, по умолчанию используется gradient_accumulation_steps.
  • mask_truncated_completions (bool, необязательный, по умолчанию False) — Если включено, усечённые завершения исключаются из расчёта функции потерь, что предотвращает их некорректное наказание и появление шума в процессе обучения. Согласно статье DAPO, это хорошая практика для обеспечения стабильности обучения.

Класс конфигурации для experimental.sdpo.SDPOTrainer.

SDPOTrainer

класс trl.experimental.sdpo.SDPOTrainer

< >

( model: typing.Union[str, transformers.modeling_utils.PreTrainedModel, torch.nn.Module]reward_funcs: typing.Any | list[typing.Any] | None = Noneargs: trl.experimental.sdpo.sdpo_config.SDPOConfig | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | dict[str, datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.processing_utils.ProcessorMixin | None = Nonereward_processing_classes: transformers.tokenization_utils_base.PreTrainedTokenizerBase | list[transformers.tokenization_utils_base.PreTrainedTokenizerBase] | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[typing.Optional[torch.optim.Optimizer], typing.Optional[torch.optim.lr_scheduler.LambdaLR]] = (None, None)peft_config = None )

Trainer для оптимизации политики с самодистилляцией (SDPO).

SDPO дополняет on-policy оптимизацию самодистилляцией из собственных траекторий модели с высоким вознаграждением. Он преобразует токенизированную обратную связь в плотный сигнал обучения без внешнего учителя или явной модели вознаграждения. SDPO рассматривает текущую модель, обусловленную обратной связью, как самоучителя и дистиллирует её предсказания следующего токена, основанные на обратной связи, обратно в политику.

обучение

< >

( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput

Параметры

  • resume_from_checkpoint (str или bool, необязательный) — Если передано значение типа str, это локальный путь к сохранённой контрольной точке, созданной предыдущим экземпляром Trainer. Если передано значение типа bool и оно равно True, загружается последняя контрольная точка из args.output_dir, сохранённая предыдущим экземпляром Trainer. Если параметр указан, обучение возобновляется из состояний модели/оптимизатора/планировщика, загруженных из этой контрольной точки.
  • trial (optuna.Trial или dict[str, Any], необязательный) — Запуск испытания или словарь гиперпараметров для поиска гиперпараметров.
  • ignore_keys_for_eval (list[str], необязательный) — Список ключей в выводе вашей модели (если он представляет собой словарь), которые следует игнорировать при сборе предсказаний для оценки во время обучения.

Возвращает

~trainer_utils.TrainOutput

Объект, содержащий количество глобальных шагов, потерю обучения и метрики.

Основная точка входа для обучения.

save_model

< >

( output_dir: str | None = None_internal_call: bool = False )

Сохранит модель, чтобы вы могли загрузить её снова с помощью from_pretrained().

Сохранение будет выполняться только из основного процесса.

push_to_hub

< >

( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )

Параметры

  • commit_message (str, необязательный, по умолчанию "End of training") — Сообщение для коммита при отправке.
  • blocking (bool, необязательный, по умолчанию True) — Определяет, должна ли функция возвращаться только после завершения git push.
  • token (str, необязательный, по умолчанию None) — Токен с правом записи для перезаписи исходных аргументов Trainer.
  • revision (str, необязательный) — Git-ревизия, от которой выполняется коммит. По умолчанию используется head ветки “main”.
  • private (bool, необязательный) — Определяет, следует ли сделать репозиторий приватным при его создании. По умолчанию используется значение args.hub_private_repo. Не имеет эффекта, если репозиторий уже существует.
  • kwargs (dict[str, Any], необязательный) — Дополнительные именованные аргументы, передаваемые в ~Trainer.create_model_card.

Загрузите self.model и self.processing_class в модельный хаб 🤗 в репозиторий self.args.hub_model_id.

Update on GitHub