Accelerate documentation

Checkpointing

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Checkpointing

Saat melatih model PyTorch dengan Accelerate, Anda mungkin sering ingin menyimpan dan melanjutkan status pelatihan. Hal ini memerlukan penyimpanan dan pemuatan model, optimizer, generator RNG, dan GradScaler. Di dalam Accelerate terdapat dua fungsi kenyamanan untuk mencapai hal ini dengan cepat:

  • Gunakan save_state() untuk menyimpan semua yang disebutkan di atas ke lokasi folder
  • Gunakan load_state() untuk memuat semua yang disimpan dari save_state sebelumnya

Untuk lebih menyesuaikan di mana dan bagaimana state disimpan melalui save_state(), kelas ProjectConfiguration dapat digunakan. Misalnya, jika automatic_checkpoint_naming diaktifkan, setiap checkpoint yang disimpan akan berada di Accelerator.project_dir/checkpoints/checkpoint_{checkpoint_number}.

Perlu dicatat bahwa ekspektasinya adalah state-state tersebut berasal dari skrip pelatihan yang sama, bukan dari dua skrip terpisah.

  • Dengan menggunakan register_for_checkpointing(), Anda dapat mendaftarkan objek kustom untuk disimpan atau dimuat secara otomatis dari dua fungsi sebelumnya, asalkan objek tersebut memiliki state_dict dan fungsionalitas load_state_dict. Ini bisa mencakup objek seperti learning rate scheduler.

Berikut adalah contoh singkat menggunakan checkpointing untuk menyimpan dan memuat ulang state selama pelatihan:

from accelerate import Accelerator
import torch

accelerator = Accelerator(project_dir="my/save/path")

my_scheduler = torch.optim.lr_scheduler.StepLR(my_optimizer, step_size=1, gamma=0.99)
my_model, my_optimizer, my_training_dataloader = accelerator.prepare(my_model, my_optimizer, my_training_dataloader)

# Register the LR scheduler
accelerator.register_for_checkpointing(my_scheduler)

# Save the starting state
accelerator.save_state()

device = accelerator.device
my_model.to(device)

# Perform training
for epoch in range(num_epochs):
    for batch in my_training_dataloader:
        my_optimizer.zero_grad()
        inputs, targets = batch
        inputs = inputs.to(device)
        targets = targets.to(device)
        outputs = my_model(inputs)
        loss = my_loss_function(outputs, targets)
        accelerator.backward(loss)
        my_optimizer.step()
    my_scheduler.step()

# Restore the previous state
accelerator.load_state("my/save/path/checkpointing/checkpoint_0")

Memulihkan status DataLoader

Setelah melanjutkan dari checkpoint, mungkin juga diinginkan untuk melanjutkan dari titik tertentu dalam DataLoader yang aktif jika state disimpan di tengah epoch. Anda dapat menggunakan skip_first_batches() untuk melakukannya.

from accelerate import Accelerator

accelerator = Accelerator(project_dir="my/save/path")

train_dataloader = accelerator.prepare(train_dataloader)
accelerator.load_state("my_state")

# Assume the checkpoint was saved 100 steps into the epoch
skipped_dataloader = accelerator.skip_first_batches(train_dataloader, 100)

# After the first iteration, go back to `train_dataloader`

# First epoch
for batch in skipped_dataloader:
    # Do something
    pass

# Second epoch
for batch in train_dataloader:
    # Do something
    pass
Update on GitHub