TRL documentation
Distribución del entrenamiento
Distribución del entrenamiento
Entrenamiento multi-GPU con TRL
Los entrenadores de TRL se inician con torchrun, el lanzador distribuido de PyTorch. Inicia un proceso por GPU:
torchrun --nproc_per_node 8 train.py <SCRIPT_ARGS>
El CLI de trl hace lo mismo por debajo, por lo que trl sft ... se ejecuta en todas las GPU de la máquina; pasa --nproc_per_node para usar menos.
Por debajo, 🤗 Accelerate crea un modelo por GPU. Cada proceso:
- Procesa su propio lote de datos
- Calcula la pérdida y los gradientes para ese lote
- Comparte las actualizaciones de gradientes entre todas las GPU

El tamaño de lote efectivo se calcula como:
Para mantener un tamaño de lote constante al escalar a varias GPU, asegúrese de actualizar per_device_train_batch_size y gradient_accumulation_steps en consecuencia.
Por ejemplo, estas configuraciones son equivalentes y deberían producir los mismos resultados:
| Número de GPUs | Tamaño de lote por dispositivo | Pasos de acumulación de gradientes | Comentarios |
|---|---|---|---|
| 1 | 32 | 1 | Posible alto uso de memoria, pero entrenamiento más rápido |
| 1 | 4 | 8 | Menor uso de memoria, entrenamiento más lento |
| 8 | 4 | 1 | Multi-GPU para obtener lo mejor de ambos mundos |
Tener un modelo por GPU puede provocar un alto uso de memoria, lo cual puede no ser viable para modelos grandes o GPUs con poca memoria. En tales casos, puedes aprovechar DeepSpeed, que ofrece optimizaciones como el particionado del modelo, el optimizador de redundancia cero, el entrenamiento con precisión mixta y la descarga a CPU o NVMe. Consulta nuestra guía de DeepSpeed Integration para más detalles.
El entrenamiento en secuencias muy largas tiene su propia guía: Training Beyond 1M Tokens.
Entrenamiento multi-nodo
Cuando una sola máquina no tiene suficientes GPUs, torchrun puede escalar el entrenamiento en varias máquinas (nodos). Cada nodo ejecuta el mismo comando con el número total de nodos, su propio rank y un punto de encuentro (rendezvous) en el nodo principal.
Opción 1: Lanzamiento manual (no HPC)
Ejecuta lo siguiente manualmente en cada nodo:
# Node 0 (main node, IP 10.0.0.1)
torchrun --nnodes 2 --nproc_per_node 8 --node_rank 0 --rdzv_backend c10d --rdzv_endpoint 10.0.0.1:29500 train.py
# Node 1
torchrun --nnodes 2 --nproc_per_node 8 --node_rank 1 --rdzv_backend c10d --rdzv_endpoint 10.0.0.1:29500 train.pyReemplace
10.0.0.1con la dirección IP real del nodo principal (rank 0).
Opción 2: Lanzamiento con SLURM (clústeres HPC)
Para clústeres que utilizan el programador de trabajos SLURM, cree un script de trabajo (por ejemplo, slurm_job.sh):
#!/bin/bash
#SBATCH --nodes=2
#SBATCH --gpus-per-node=8
#SBATCH --job-name=trl_multi
MAIN_NODE=$(scontrol show hostnames $SLURM_JOB_NODELIST | head -n 1)
srun torchrun --nnodes 2 --nproc_per_node 8 --node_rank $SLURM_NODEID --rdzv_backend c10d --rdzv_endpoint $MAIN_NODE:29500 train.pyLuego, envía el trabajo:
sbatch slurm_job.sh
srun inicia un torchrun por nodo, y cada uno de ellos inicia un proceso por GPU.
Directivas clave de SLURM:
--nodes=2: Solicita 2 nodos de cómputo--gpus-per-node=8: Asigna 8 GPUs por nodo (16 en total)--job-name: Etiqueta para el seguimiento en la cola de trabajos
Puede combinar multi-node con DeepSpeed configurando deepspeed en la configuración de entrenamiento. Consulte la guía de integración de DeepSpeed.
Lecturas adicionales
- torchrun (Lanzamiento elástico)
- Documentación del gestor de carga de trabajo SLURM - Para la programación de trabajos en clúster