Accelerate documentation

Compilação

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v1.16.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Compilação

Visão geral

O Pytorch 2.0 introduziu o torch.compile, um recurso poderoso que faz o código do PyTorch executar mais rápido ao compilar o código do PyTorch em kernels otimizados via JIT. Os principais recursos do torch.compile incluem:

  • Melhoria de desempenho: Acelera significativamente a execução do modelo ao otimizar o grafo de computação.
  • Facilidade de uso: Exige alterações mínimas de código para implementação, tornando-o altamente acessível.
  • Compatibilidade: Funciona perfeitamente com o código e os modelos existentes do PyTorch.

Quando usado com Accelerate, torch.compile se integra de forma suave aos fluxos de trabalho de treinamento distribuído, permitindo que você se beneficie simultaneamente da execução distribuída e das otimizações de compilação.

A primeira execução do código compilado geralmente leva mais tempo, pois inclui o tempo de compilação, mas as execuções subsequentes são significativamente mais rápidas. Para desempenho ideal em diferentes cenários, torch.compile oferece vários modos, como "default", "reduce-overhead" (que usa CUDA graphs para reduzir ainda mais o overhead) e "max-autotune" (que realiza autotuning extensivo para encontrar os melhores kernels para o seu modelo).

Usando torch.compile com Accelerate

O Accelerate fornece o TorchDynamoPlugin para uma integração fácil e transparente do torch.compile nos seus scripts de treinamento.

from accelerate import Accelerator
from accelerate.utils import TorchDynamoPlugin

# Configure the compilation backend
dynamo_plugin = TorchDynamoPlugin(
    backend="inductor",  # Options: "inductor", "aot_eager", "aot_nvfuser", etc.
    mode="default",      # Options: "default", "reduce-overhead", "max-autotune"
    fullgraph=True,
    dynamic=False
)

# Initialize accelerator with the plugin
accelerator = Accelerator(dynamo_plugin=dynamo_plugin)
# This will apply torch.compile to your model
model = accelerator.prepare(model)

É compatível com todos os outros recursos e plugins do Accelerate, incluindo precisão mista, treinamento distribuído (DDP, FSDP, Deepspeed), etc.

Compilação Regional

Em vez de tentar compilar o modelo inteiro, o que geralmente apresenta um grande espaço de problemas para otimização. A compilação regional visa blocos repetidos da mesma classe e os compila sequencialmente para aproveitar o cache do compilador. Por exemplo, em GPT2LMHeadModel, o bloco/classe repetido é GPT2Block, e pode ser acessado como model.transformer.h[0]. O restante do modelo (por exemplo, model.lm_head) é compilado separadamente.

Isso nos permite acelerar o overhead de compilação / cold start de modelos como LLMs e Transformers em geral. Veja https://pytorch.org/tutorials/recipes/regional_compilation.html para mais detalhes.

Como Usar Compilação Regional

Ele pode ser ativado definindo use_regional_compilation=True na configuração do TorchDynamoPlugin:

# Configure the compilation backend
dynamo_plugin = TorchDynamoPlugin(
    use_regional_compilation=True,
    ... # other parameters
)
# Initialize accelerator with the plugin
accelerator = Accelerator(dynamo_plugin=dynamo_plugin)
# This will apply compile_regions to your model
model = accelerator.prepare(model)

Você também pode usar o utilitário accelerate.utils.compile_regions diretamente da mesma forma que usaria o torch.compile.

Benefícios da Compilação Regional

Realizamos benchmarks extensos comparando a compilação completa e a compilação regional usando o recurso torch.compile no PyTorch. Os resultados completos estão disponíveis no repositório accelerate. As principais conclusões dos nossos benchmarks são:

  1. Desempenho comparável: A compilação regional oferece acelerações de desempenho semelhantes às da compilação completa, especialmente para modelos maiores.
  2. Compilação mais rápida: A compilação regional reduz significativamente o tempo necessário para compilar modelos, tornando-a uma escolha mais eficiente para implantação.
  3. Impacto do tamanho do lote: A diferença de desempenho entre as estratégias de compilação diminui com tamanhos de lote maiores, indicando que o sobrecusto da compilação tem menos impacto nesses cenários.
  4. Consideração sobre o tamanho do modelo: Os benefícios da compilação regional são mais evidentes em modelos maiores, onde a economia de tempo de compilação pode ser substancial.
  5. Aplicação prática: Para aplicações do mundo real, a compilação regional é uma escolha prática para otimizar os tempos de inicialização fria do treinamento, especialmente ao trabalhar com modelos grandes.

Conclusão

Tanto a compilação completa quanto a regional podem acelerar significativamente seus modelos. A compilação regional oferece um equilíbrio prático entre o tempo de compilação e o desempenho em tempo de execução, especialmente para o treinamento de modelos grandes com tamanhos de lote substanciais.

Update on GitHub