TRL documentation
SDPO
SDPO
Метод оптимизации политики с самодистилляцией (SDPO) был предложен в работе Reinforcement Learning via Self-Distillation авторами Jonas Hübotter, Frederike Lübeck, Lejs Behric, Anton Baumann, Marco Bagatella, Daniel Marta, Ido Hakimi, Idan Shenfeld, Thomas Kleine Buening, Carlos Guestrin и Andreas Krause.
Крупные языковые модели всё чаще проходят постобучение с использованием обучения с подкреплением в верифицируемых областях, таких как код и математика. Однако текущие методы обучения с подкреплением с верифицируемыми наградами (RLVR) извлекают информацию только из скалярной награды за результат каждого попытки, что создаёт серьёзную проблему с назначением заслуг (credit assignment). Многие верифицируемые среды на самом деле предоставляют богатую текстовую обратную связь, такую как ошибки времени выполнения или оценки судьи, объясняющие, почему попытка провалилась. Мы формализуем эту постановку как обучение с подкреплением с богатой обратной связью и предлагаем метод Self-Distillation Policy Optimization (SDPO), который преобразует токенизированную обратную связь в плотный сигнал обучения без внешнего учителя или явной модели наград. SDPO рассматривает текущую модель, обусловленную обратной связью, как самоучителя и дистиллирует её предсказания следующего токена, основанные на обратной связи, обратно в политику. Таким образом, SDPO использует способность модели ретроспективно выявлять собственные ошибки в контексте. На задачах научного рассуждения, использования инструментов и соревновательного программирования на LiveCodeBench v6 SDPO повышает эффективность использования выборок и итоговую точность по сравнению с сильными базовыми методами RLVR. Примечательно, что SDPO также превосходит базовые методы в стандартных средах RLVR, возвращающих только скалярную обратную связь, используя успешные прокрутки (rollouts) в качестве неявной обратной связи для неудачных попыток. Наконец, применение SDPO к отдельным вопросам на этапе тестирования ускоряет поиск решений на сложных задачах с бинарной наградой, достигая той же вероятности обнаружения, что и выбор лучшего из k (best-of-k) или многоходовые диалоги, но с 3-кратным уменьшением числа попыток.
Как это работает
SDPO ориентирован на обучение с подкреплением с проверяемыми наградами (RLVR), где каждая попытка даёт лишь разреженную скалярную награду. Метод превращает её в плотный сигнал на уровне токенов: для каждого промпта политика генерирует num_generations завершений, которые оцениваются функциями reward_funcs; успешный роллаут (плюс необязательная обратная связь privileged_context) становится повторным запросом для учителя, а распределение учителя, сформированное с учётом обратной связи, дистиллируется обратно в политику. Учитель и ученик — одна и та же нейросеть, поэтому, помимо верификатора, не требуется внешний учитель или модель наград.
Режимы потерь и учитель
distillation_weight управляет тем, как два сигнала комбинируются в виде выпуклой комбинации: функция потерь равна (1 - distillation_weight) * policy_loss + distillation_weight * distillation_loss. Значение 1.0 (по умолчанию) обучает модель исключительно на потере само-дистилляции, 0.0 откатывается к стандартному градиенту политики в стиле GRPO, а промежуточные значения смешивают оба сигнала. Сама цель дистилляции задается параметром distillation_mode — "sampled_token" (по умолчанию) использует обратный KL на уровне токенов и требует distillation_alpha=1.0, тогда как "full_logits" и "topk_logits" дистиллируют по всему словарю или по топ-distillation_topk токенам.
teacher_model_kind определяет веса учителя: "ema" (по умолчанию) отслеживает студента с помощью экспоненциального скользящего среднего, синхронизируемого каждые teacher_sync_steps шагов с коэффициентом teacher_update_rate, "live" напрямую использует текущую модель студента, а "base" фиксирует начальные веса. Повторный запрос управляется параметрами use_successful_as_teacher, success_reward_threshold, dont_reprompt_on_self_success и строками reprompt_template / solution_template / feedback_template. По умолчанию генерация выполняется через transformers, либо через vLLM (в режиме colocate или server), если задано use_vllm=True.
Ожидаемые столбцы набора данных
Каждый пример должен содержать:
prompt: промпт для студентаprivileged_context: необязательный привилегированный текст, например, обратная связь от среды, используется приinclude_environment_feedback=True
Использование
from datasets import Dataset
from trl.experimental.sdpo import SDPOConfig, SDPOTrainer
dataset = Dataset.from_dict(
{
"prompt": [[{"role": "user", "content": "Solve 2+2."}]],
"privileged_context": ["Your earlier answer used the wrong format."],
}
)
training_args = SDPOConfig(
output_dir="sdpo-model",
distillation_mode="topk_logits", # Explicitly select top-K logit distillation
distillation_topk=100, # Required when using top-K logit distillation
include_environment_feedback=True, # Use dataset privileged_context for teacher reprompts
)
trainer = SDPOTrainer(
model="Qwen/Qwen2.5-1.5B-Instruct",
reward_funcs=reward_func,
args=training_args,
train_dataset=dataset,
)
trainer.train()SDPO всегда требует столбец prompt. Чтобы использовать обратную связь от среды, также включите столбец privileged_context и установите include_environment_feedback=True. SDPO будет использовать успешные развёртки и, при включённом режиме, этот текст для построения teacher-запросов для самодистилляции.
Запуск учителя с сервера vLLM
При teacher_model_kind="live" учителем выступает текущий студент, веса которого уже хранятся на сервере server vLLM (они синхронизируются для генерации на каждом шаге). Установите use_teacher_server=True, чтобы оценивать лог-вероятности учителя на этом же сервере, а не выполнять отдельный локальный прямой проход учителя, полностью исключая учителя из шага обучения:
training_args = SDPOConfig(
output_dir="sdpo-model",
use_vllm=True,
vllm_mode="server",
teacher_model_kind="live",
use_teacher_server=True,
distillation_weight=1.0,
distillation_mode="sampled_token",
)При использовании сервера-учителя:
use_vllm=Trueиvllm_mode="server"являются обязательнымиteacher_model_kindдолжен быть"live"(сервер хранит текущие веса ученика)distillation_weightдолжен быть равен1.0(чистая дистилляция; для выпуклой смеси с потерей политики требуются логиты по всему словарю)distillation_modeдолжен быть"sampled_token"(обратный KL по реализованному токену) или"topk_logits". Сервер возвращает собственные top-k log-probs учителя, поэтомуtopk_logitsдистиллирует по top-k поддержке учителя (в отличие от локальной цели, использовать поддержку студента нельзя); при учителе"live"эти две поддержки практически совпадают.full_logitsнедоступен.
Обработчики событий
Тренер предоставляет небольшой набор хуков обратного вызова, полезных для отладки, наблюдаемости и тестирования. Эти хуки предназначены в качестве практических точек интеграции для экспериментальных рабочих процессов само-дистилляции.
Общие хуки самодистилляции:
on_self_distillation_batch_prepared: срабатывает, когда батч для self-distillation готов. В полезной нагрузке содержатсяprompt_ids,completion_idsиold_per_token_logps, если доступны входные данные для обрезания при importance sampling.on_generation_batch_built: срабатывает при создании нового буферизованного батча генерации. В полезной нагрузке содержатсяgenerate_everyиsteps_per_generation.
Специфический для SDPO хук:
on_teacher_context_built: срабатывает после того, как SDPO формирует входные данные с условием учителя. В полезную нагрузку входятteacher_input_ids,teacher_attention_mask,completion_maskиself_distillation_mask.
Пример скрипта
Используйте examples/sdpo_math/sdpo_math.py для запуска обучения SDPO из командной строки. Скрипт поддерживает проверяемые математические награды, обратную связь от среды через --feedback_column и PEFT/LoRA через стандартные флаги ModelConfig.
python examples/sdpo_math/sdpo_math.py \
--model_name_or_path Qwen/Qwen2.5-Math-1.5B-Instruct \
--dataset_name openai/gsm8k \
--dataset_config main \
--output_dir outputs/sdpo-qwen35-2b-gsm8k \
--learning_rate 5e-5 \
--dtype bfloat16 \
--bf16 true \
--max_completion_length 128 \
--use_peft \
--lora_target_modules q_proj k_proj v_proj o_proj gate_proj up_proj down_proj \
--per_device_train_batch_size 1 \
--gradient_accumulation_steps 2 \
--num_generations 8 \
--generation_batch_size 32 \
--distillation_alpha 1.0 \
--distillation_mode sampled_token \
--distillation_weight 0.5 \
--report_to none \
--eval_strategy steps \
--eval_steps 1000 \
--save_strategy noSDPOConfig
класс trl.experimental.sdpo.SDPOConfig
< source >( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 5e-05lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Falselabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict[str, typing.Any] | None = Nonetrust_remote_code: bool = Falsedisable_dropout: bool = Truemax_prompt_length: int | None = 512num_generations: int = 8num_generations_eval: int | None = Nonemax_completion_length: int | None = 256ds3_gather_for_generation: bool = Trueshuffle_dataset: bool = Truegeneration_batch_size: int | None = Nonesteps_per_generation: int | None = Nonetemperature: float = 1.0top_p: float = 1.0top_k: int = 0min_p: float | None = Nonegeneration_kwargs: dict[str, typing.Any] | None = Nonechat_template_kwargs: dict[str, typing.Any] | None = Nonerepetition_penalty: float = 1.0cache_implementation: str | None = Noneuse_vllm: bool = Falseuse_teacher_server: bool = Falsevllm_mode: str = 'colocate'vllm_model_impl: str = 'vllm'vllm_enable_sleep_mode: bool = Falsevllm_server_base_url: str | None = Nonevllm_server_host: str = '0.0.0.0'vllm_server_port: int = 8000vllm_group_port: int = 51216vllm_server_timeout: float = 240.0vllm_tensor_parallel_size: int = 1vllm_gpu_memory_utilization: float = 0.3vllm_max_model_length: int | None = Nonenum_iterations: int = 1loss_type: str = 'dapo'mask_truncated_completions: bool = Falsedont_reprompt_on_self_success: bool = Truebeta: float = 0.0epsilon: float = 0.2epsilon_high: float | None = Noneimportance_sampling_level: str = 'token'reward_weights: list[float] | None = Nonescale_rewards: str = 'group'distillation_alpha: float = 1.0distillation_mode: typing.Literal['sampled_token', 'full_logits', 'topk_logits'] = 'sampled_token'distillation_topk: int | None = Nonedistillation_is_clip: float | None = 2.0distillation_add_tail: bool = Falsedistillation_weight: float = 1.0teacher_model_kind: str = 'ema'teacher_update_rate: float = 0.05teacher_sync_steps: int = 1max_reprompt_len: int = 10240use_successful_as_teacher: bool = Truesuccess_reward_threshold: float = 1.0reprompt_template: str = '{prompt}{solution}{feedback}\n\nCorrectly solve the original question.\n'solution_template: str = '\nCorrect solution:\n\n{successful_previous_attempt}\n\n'feedback_template: str = '\nThe following is feedback from your unsuccessful earlier attempt:\n\n{feedback_raw}\n\n'include_environment_feedback: bool = Falseenvironment_feedback_only_without_solution: bool = Falseremove_thinking_from_demonstration: bool = Falsediagnostics_warning_interval: int = 10diagnostics_flat_tolerance: float = 1e-08 )
Параметры, управляющие целевой функцией онлайн-политики
- beta (
float, необязательный, по умолчанию0.0) — коэффициент KL. Если0.0(по умолчанию), референсная модель не загружается, что снижает потребление памяти и повышает скорость обучения. DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning используют значение0.001. - epsilon (
float, необязательный, по умолчанию0.2) — Значение эпсилона для обрезания. - epsilon_high (
float, необязательный) — Верхнее значение epsilon для обрезки. Если не указано, по умолчанию используется то же значение, что и нижняя граница, заданная в аргументеepsilon. В статье DAPO рекомендуется0.28. - importance_sampling_level (
str, необязательный, по умолчанию"token") — Управляет тем, на каком уровне вычисляются коэффициенты importance sampling: на уровне'token'или'sequence'.'token'сохраняет исходные отношения лог-вероятностей для каждого токена (один вес на токен).'sequence'усредняет отношения лог-вероятностей по всем валидным токенам, чтобы получить одно отношение на последовательность. Статья GSPO показывает, что выборка на уровне последовательности часто обеспечивает более стабильное обучение и лучшее согласование с наградами на уровне последовательности. - reward_weights (
list[float], необязательный) — Веса для каждой функции вознаграждения. Количество должно совпадать с числом функций вознаграждения. ЕслиNone, все вознаграждения взвешиваются одинаково с весом1.0. - scale_rewards (
strorbool, необязательный, по умолчанию"group") — Определяет стратегию масштабирования наград. Поддерживаемые значения:Trueили'group'(по умолчанию): награды масштабируются по стандартному отклонению внутри каждой группы, что обеспечивает единичную дисперсию внутри группы.'batch': награды масштабируются по стандартному отклонению для всей выборки, как рекомендуется в статье PPO Lite.Falseили'none': масштабирование не применяется. Статья Dr. GRPO рекомендует не масштабировать награды, так как масштабирование по стандартному отклонению вносит смещение, связанное со сложностью вопроса.
Параметры, управляющие потерей SDPO
- distillation_weight (
float, необязательный, по умолчанию1.0) — Вес выпуклой комбинации между целями политики и самодистилляции. Потери вычисляются как(1 - distillation_weight) * policy_loss + distillation_weight * distillation_loss. Значение должно находиться в диапазоне[0, 1].1.0(по умолчанию) обучает исключительно на самодистилляции,0.0возвращает к стандартному градиенту политики в стиле GRPO, а промежуточные значения смешивают оба подхода. - distillation_alpha (
float, необязательный, по умолчанию1.0) — Коэффициент интерполяции расхождения. Для SDPO с выборкой токенов требуется официальная настройка reverse-KLdistillation_alpha=1.0. - distillation_mode (
Literal["sampled_token", "full_logits", "topk_logits"], необязательный, по умолчанию"sampled_token") — Режим целевой функции дистилляции.sampled_token— это режим SDPO по умолчанию, для которого требуетсяdistillation_alpha=1.0. - distillation_topk (
int, необязательный) — Приближение top-k для SDPO на уровне логитов. Должно быть задано, еслиdistillation_mode=topk_logits, и оставлено пустым в остальных случаях. - distillation_is_clip (
float, необязательный, по умолчанию2.0) — Коэффициент обрезки для importance sampling в self-distillation.Noneотключает обрезку. - distillation_add_tail (
bool, необязательный, по умолчаниюFalse) — Добавлять ли хвостовое ведро для вероятностной массы, не входящей в топ-k.
Параметры, управляющие учителем
- teacher_model_kind (
str, необязательный, по умолчанию"ema") — Выбор семантического учителя.baseиспользует исходного студента,live— текущего студента, аema— учителя с экспоненциальным усреднением. - teacher_update_rate (
float, необязательный, по умолчанию0.05) — Скорость обновления учителя, используемая для синхронизации учителя EMA. - teacher_sync_steps (
int, необязательный, по умолчанию1) — Как часто синхронизировать модель-учителя EMA.
Параметры, управляющие повторным запросом
- use_successful_as_teacher (
bool, необязательный, по умолчаниюTrue) — Использовать успешные rollout'ы в качестве неявной обратной связи для самодистилляции. - success_reward_threshold (
float, необязательный, по умолчанию1.0) — Минимальное вознаграждение, при котором rollout считается успешной демонстрацией. - dont_reprompt_on_self_success (
bool, необязательный, по умолчаниюTrue) — Пропускать повторный запрос, если модель сгенерировала правильный ответ. - max_reprompt_len (
int, необязательный, по умолчанию10240) — Максимальная длина для повторного промптинга при само-дистилляции. - reprompt_template (
str, необязательный, по умолчанию"{prompt}{solution}{feedback}\n\nCorrectly solve the original question.\n") — Шаблон для повторного запроса к учителю с успешной демонстрацией. - solution_template (
str, необязательный, по умолчанию"\nCorrect solution -- \n\n{successful_previous_attempt}\n\n"): шаблон для форматирования текста успешной демонстрации. - feedback_template (
str, необязательный, по умолчанию"\nThe following is feedback from your unsuccessful earlier attempt -- \n\n{feedback_raw}\n\n"): шаблон для форматирования обратной связи от среды для повторного запроса. - include_environment_feedback (
bool, необязательный, по умолчаниюFalse) — Включать ли обратную связь от среды в повторные запросы к учителю, если она доступна. - environment_feedback_only_without_solution (
bool, необязательный, по умолчаниюFalse) — Использовать ли обратную связь только в том случае, если успешное решение недоступно. - remove_thinking_from_demonstration (
bool, необязательный, по умолчаниюFalse) — Удалять ли блоки <think>…</think> из текста демонстрации.
Параметры, управляющие диагностикой
- diagnostics_warning_interval (
int, необязательный, по умолчанию10) — Выводить повторяющиеся диагностические сообщения тренера каждые N последовательных вырожденных шагов. Установите 0, чтобы отключить. - diagnostics_flat_tolerance (
float, необязательный, по умолчанию1e-8) — Допустимое отклонение, используемое для определения того, является ли дисперсия вознаграждения или активность повторных запросов практически нулевой.
Параметры, управляющие моделью
- model_init_kwargs (
dict[str, Any], необязательный) — Параметры-ключи дляtransformers.AutoModelForCausalLM.from_pretrained, используемые, когда аргументmodelвSDPOTrainerпередан в виде строки. Значениеrevisionтакже используется при загрузке классов обработки. - trust_remote_code (
bool, optional, defaults toFalse) — Whether to allow loading models and tokenizers that ship custom Python code from the Hub. Forwarded to from_pretrained and from_pretrained. Also applied to reward-model and reward-tokenizer loads. - disable_dropout (
bool, необязательный, по умолчаниюTrue) — Определяет, следует ли отключить dropout в модели. Это полезно при обучении с опорной моделью, так как предотвращает генерацию моделью различных logprobs для одного и того же входа.
Параметры, управляющие предобработкой данных
- remove_unused_columns (
bool, необязательный, по умолчаниюFalse) — Определяет, следует ли в наборе данных оставлять только столбец ‘prompt’. Если вы используете пользовательскую функцию вознаграждения, которая требует столбец, отличный от ‘prompts’ и ‘completions’, оставьте это значение равнымFalse. - max_prompt_length (
int, необязательный, по умолчанию512) — Максимальная длина промпта. Более длинные промпты обрезаются слева. - shuffle_dataset (
bool, необязательный, по умолчаниюTrue) — Определяет, следует ли перемешивать обучающий набор данных.
Параметры, управляющие генерацией
- num_generations (
int, необязательный, по умолчанию8) — Количество генераций для выборки. Эффективный размер батча (num_processes per_device_batch_size gradient_accumulation_steps) должен делиться на это значение без остатка. - num_generations_eval (
int, необязательный) — Количество генераций для выборки во время оценки. Это позволяет использовать меньшее количество генераций при оценке, чтобы сэкономить вычислительные ресурсы. ЕслиNone, используется значениеnum_generations. - max_completion_length (
int, необязательный, по умолчанию256) — Максимальная длина сгенерированного завершения. - temperature (
float, необязательный, по умолчанию1.0) — Температура для выборки. Чем выше температура, тем более случайными будут завершения. - top_p (
float, необязательный, по умолчанию1.0) — Число с плавающей точкой, управляющее накопленной вероятностью верхних токенов, которые следует учитывать. Должно находиться в интервале (0, 1]. Установите значение 1.0, чтобы учитывать все токены. - top_k (
int, необязательный, по умолчанию0) — Количество токенов словаря с наивысшей вероятностью, которые сохраняются для фильтрации top-k. Если0, фильтрация top-k отключается и учитываются все токены. - min_p (
float, необязательный) — Минимальная вероятность токена, которая масштабируется вероятностью наиболее вероятного токена. Значение должно находиться в диапазоне от 0.0 до 1.0. Типичные значения лежат в диапазоне 0.01–0.2. - repetition_penalty (
float, необязательный, по умолчанию1.0) — Число с плавающей точкой, которое штрафует новые токены в зависимости от того, присутствуют ли они в исходном запросе и в уже сгенерированном тексте. Значения > 1.0 побуждают модель использовать новые токены, а значения < 1.0 — повторять токены. - cache_implementation (
str, необязательный) — Реализация метода кэширования для более быстрого генерирования, когда use_vllm установлено в False. - generation_kwargs (
dict[str, Any], необязательный) — Дополнительные именованные аргументы для передачи вGenerationConfig(при использовании transformers) илиSamplingParams(при использовании vLLM) при генерации завершений. Это позволяет дополнительно настраивать поведение генерации, например, устанавливатьsuppress_tokens,num_beamsи т. д. Если в словаре содержатся ключи, конфликтующие с другими параметрами генерации (например,min_p,top_pи т. д.), они будут иметь приоритет. - chat_template_kwargs (
dict[str, Any], необязательный) — Дополнительные именованные аргументы для передачи в функциюapply_chat_templateпри генерации ответов. - ds3_gather_for_generation (
bool, необязательный, по умолчаниюTrue) — Этот параметр относится к DeepSpeed ZeRO-3. Если включен, веса модели политики собираются для генерации, что повышает скорость генерации. Однако отключение этого параметра позволяет обучать модели, превышающие VRAM-емкость одного GPU, хотя и за счет более медленной генерации. Отключение этого параметра несовместимо с генерацией vLLM.
Параметры, управляющие ускорением генерации на базе vLLM
- use_vllm (
bool, необязательный, по умолчаниюFalse) — Использовать ли vLLM для генерации завершений. Если установлено вTrue, тренер будет использовать vLLM для генерации вместо стандартного model.generate(). Требуется установкаvllm. - use_teacher_server (
bool, необязательный, по умолчаниюFalse) — Вычисляет logprobs учителя из работающего сервера генерации vLLM, а не через локальный прямой проход учителя. Поддерживается только дляteacher_model_kind='live'сuse_vllm=True,vllm_mode='server',distillation_weight=1.0(чистая дистилляция) иdistillation_modeв {‘sampled_token’, ‘topk_logits’} (сервер возвращает top-k logprobs учителя, а не полное пространство символов;topk_logitsдистиллирует по собственному top-k подмножеству учителя). - vllm_mode (
str, необязательный, по умолчанию"colocate") — Режим, используемый для интеграции с vLLM, когдаuse_vllmустановлен вTrue. Должно быть одно из значений'server'или'colocate'.'server': Тренер будет отправлять запросы на генерацию отдельному серверу vLLM. Убедитесь, что сервер vLLM запущен (запустите с помощьюvllm serve).'colocate': vLLM будет работать в том же процессе и использовать те же GPU, что и обучение. Это избавляет от необходимости в отдельном сервере, но может привести к конкуренции за ресурсы с процессом обучения. - vllm_model_impl (
str, необязательный, по умолчанию"vllm") — Реализация модели для vLLM. Должно быть одним изtransformersилиvllm.transformers: Использовать бэкендtransformersдля реализации модели.vllm: Использовать библиотекуvllmдля реализации модели. - vllm_enable_sleep_mode (
bool, необязательный, по умолчаниюFalse) — Включает режим сна vLLM для выгрузки весов/кэша во время шага оптимизатора. Держит использование памяти GPU на низком уровне, но пробуждение движка добавляет задержку на передачу данных между хостом и устройством. - vllm_server_base_url (
str, необязательный) — Базовый URL для сервера vLLM (например, ‘http://localhost:8000’). Если указан,vllm_server_hostиvllm_server_portигнорируются. - vllm_server_host (
str, необязательный, по умолчанию"0.0.0.0") — Хост сервера vLLM, к которому следует подключиться. Игнорируется, если указано vllm_server_base_url. - vllm_server_port (
int, необязательный, по умолчанию8000) — Порт сервера vLLM для подключения. Игнорируется, если указано vllm_server_base_url. - vllm_group_port (
int, необязательный, по умолчанию51216) — Номер порта для группы обновления весов. Используется для связи с сервером vLLM. Если порт свободен, менять его не нужно. - vllm_server_timeout (
float, необязательный, по умолчанию240.0) — Общее время ожидания в секундах, пока сервер vLLM не станет доступным. Если сервер не запустится по истечении указанного времени, будет выброшено исключениеConnectionError. - vllm_tensor_parallel_size (
int, необязательный, по умолчанию1) — Управляет размером тензорного параллелизма для vLLM. Этот параметр применяется только при установкеvllm_modeв значение'colocate'. Если вы используетеvllm_mode='server', этот параметр необходимо передавать отдельно при запуске сервера vLLM с помощью флага--vllm_tensor_parallel_size. - vllm_gpu_memory_utilization (
float, необязательный, по умолчанию0.3) — Управляет использованием памяти GPU в vLLM. Этот параметр применяется только при установкеvllm_modeв значение'colocate'. Если вы используетеvllm_mode='server', этот параметр необходимо передавать отдельно при запуске сервера vLLM с помощью флага--vllm_gpu_memory_utilization. - vllm_max_model_length (
int, необязательный) — Оконно контекста для vLLM. Установите значение не менее максимальной длины промпта в наборе данных плюсmax_completion_length; если параметр не указан, он вычисляется из конфигурации модели.
Параметры, управляющие обучением
- loss_type (
str, необязательный, по умолчанию"dapo") — Определяет формулу потерь, которую следует использовать. Поддерживаемые значения: ‘grpo’, ‘bnpo’, ‘dr_grpo’ и ‘dapo’. ‘grpo’: Агрегирует потери на уровне токенов, нормализуя их по длине последовательности. Не рекомендуется из-за смещения по длине: такой подход склонен отдавать предпочтение более коротким завершениям с положительными преимуществами и более длинным — с отрицательными. ‘dapo’ (по умолчанию): Агрегирует потери на уровне токенов, нормализуя их по количеству активных токенов в глобальном накопленном батче. Этот метод был предложен в статье DAPO для устранения смещения по длине. ‘dr_grpo’: Агрегирует потери на уровне токенов, нормализуя их глобальной константой. Этот метод был предложен в статье Dr. GRPO для устранения смещения по длине. Значение константы соответствуетmax_completion_length. ‘bnpo’: Агрегирует потери на уровне токенов, нормализуя их по количеству активных токенов в локальном батче. Обратите внимание, что нормализация выполняется только по локальному батчу, поэтому результаты могут немного варьироваться в зависимости от размера локального батча, несмотря на постоянный эффективный размер батча. При использованииper_device_train_batch_size==1потери эквивалентны потерям GRPO. - num_iterations (
int, необязательный, по умолчанию1) — Количество итераций на каждый пакет (обозначается как μ в алгоритме). - generation_batch_size (
int, необязательный) — Размер батча, используемый для генерации. ЕслиNone, по умолчанию используется эффективный размер обучающего батча:per_device_train_batch_size * num_processes * steps_per_generation. - steps_per_generation (
int, необязательный) — Количество шагов на генерацию. ЕслиNone, по умолчанию используетсяgradient_accumulation_steps. - mask_truncated_completions (
bool, необязательный, по умолчаниюFalse) — Если включено, усечённые завершения исключаются из расчёта функции потерь, что предотвращает их некорректное наказание и появление шума в процессе обучения. Согласно статье DAPO, это хорошая практика для обеспечения стабильности обучения.
Класс конфигурации для experimental.sdpo.SDPOTrainer.
SDPOTrainer
класс trl.experimental.sdpo.SDPOTrainer
< source >( model: typing.Union[str, transformers.modeling_utils.PreTrainedModel, torch.nn.Module]reward_funcs: typing.Any | list[typing.Any] | None = Noneargs: trl.experimental.sdpo.sdpo_config.SDPOConfig | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | dict[str, datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.processing_utils.ProcessorMixin | None = Nonereward_processing_classes: transformers.tokenization_utils_base.PreTrainedTokenizerBase | list[transformers.tokenization_utils_base.PreTrainedTokenizerBase] | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[typing.Optional[torch.optim.Optimizer], typing.Optional[torch.optim.lr_scheduler.LambdaLR]] = (None, None)peft_config = None )
Trainer для оптимизации политики с самодистилляцией (SDPO).
SDPO дополняет on-policy оптимизацию самодистилляцией из собственных траекторий модели с высоким вознаграждением. Он преобразует токенизированную обратную связь в плотный сигнал обучения без внешнего учителя или явной модели вознаграждения. SDPO рассматривает текущую модель, обусловленную обратной связью, как самоучителя и дистиллирует её предсказания следующего токена, основанные на обратной связи, обратно в политику.
обучение
< source >( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput
Параметры
- resume_from_checkpoint (
strилиbool, необязательный) — Если передано значение типаstr, это локальный путь к сохранённой контрольной точке, созданной предыдущим экземпляромTrainer. Если передано значение типаboolи оно равноTrue, загружается последняя контрольная точка из args.output_dir, сохранённая предыдущим экземпляромTrainer. Если параметр указан, обучение возобновляется из состояний модели/оптимизатора/планировщика, загруженных из этой контрольной точки. - trial (
optuna.Trialилиdict[str, Any], необязательный) — Запуск испытания или словарь гиперпараметров для поиска гиперпараметров. - ignore_keys_for_eval (
list[str], необязательный) — Список ключей в выводе вашей модели (если он представляет собой словарь), которые следует игнорировать при сборе предсказаний для оценки во время обучения.
Возвращает
~trainer_utils.TrainOutput
Объект, содержащий количество глобальных шагов, потерю обучения и метрики.
Основная точка входа для обучения.
Сохранит модель, чтобы вы могли загрузить её снова с помощью from_pretrained().
Сохранение будет выполняться только из основного процесса.
push_to_hub
< source >( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )
Параметры
- commit_message (
str, необязательный, по умолчанию"End of training") — Сообщение для коммита при отправке. - blocking (
bool, необязательный, по умолчаниюTrue) — Определяет, должна ли функция возвращаться только после завершенияgit push. - token (
str, необязательный, по умолчаниюNone) — Токен с правом записи для перезаписи исходных аргументов Trainer. - revision (
str, необязательный) — Git-ревизия, от которой выполняется коммит. По умолчанию используется head ветки “main”. - private (
bool, необязательный) — Определяет, следует ли сделать репозиторий приватным при его создании. По умолчанию используется значениеargs.hub_private_repo. Не имеет эффекта, если репозиторий уже существует. - kwargs (
dict[str, Any], необязательный) — Дополнительные именованные аргументы, передаваемые в~Trainer.create_model_card.
Загрузите self.model и self.processing_class в модельный хаб 🤗 в репозиторий self.args.hub_model_id.