Accelerate documentation
Checkpointing
Checkpointing
Saat melatih model PyTorch dengan Accelerate, Anda mungkin sering ingin menyimpan dan melanjutkan status pelatihan. Hal ini memerlukan penyimpanan dan pemuatan model, optimizer, generator RNG, dan GradScaler. Di dalam Accelerate terdapat dua fungsi kenyamanan untuk mencapai hal ini dengan cepat:
- Gunakan save_state() untuk menyimpan semua yang disebutkan di atas ke lokasi folder
- Gunakan load_state() untuk memuat semua yang disimpan dari
save_statesebelumnya
Untuk lebih menyesuaikan di mana dan bagaimana state disimpan melalui save_state(), kelas ProjectConfiguration dapat digunakan. Misalnya, jika automatic_checkpoint_naming diaktifkan, setiap checkpoint yang disimpan akan berada di Accelerator.project_dir/checkpoints/checkpoint_{checkpoint_number}.
Perlu dicatat bahwa ekspektasinya adalah state-state tersebut berasal dari skrip pelatihan yang sama, bukan dari dua skrip terpisah.
- Dengan menggunakan register_for_checkpointing(), Anda dapat mendaftarkan objek kustom untuk disimpan atau dimuat secara otomatis dari dua fungsi sebelumnya,
asalkan objek tersebut memiliki
state_dictdan fungsionalitasload_state_dict. Ini bisa mencakup objek seperti learning rate scheduler.
Berikut adalah contoh singkat menggunakan checkpointing untuk menyimpan dan memuat ulang state selama pelatihan:
from accelerate import Accelerator
import torch
accelerator = Accelerator(project_dir="my/save/path")
my_scheduler = torch.optim.lr_scheduler.StepLR(my_optimizer, step_size=1, gamma=0.99)
my_model, my_optimizer, my_training_dataloader = accelerator.prepare(my_model, my_optimizer, my_training_dataloader)
# Register the LR scheduler
accelerator.register_for_checkpointing(my_scheduler)
# Save the starting state
accelerator.save_state()
device = accelerator.device
my_model.to(device)
# Perform training
for epoch in range(num_epochs):
for batch in my_training_dataloader:
my_optimizer.zero_grad()
inputs, targets = batch
inputs = inputs.to(device)
targets = targets.to(device)
outputs = my_model(inputs)
loss = my_loss_function(outputs, targets)
accelerator.backward(loss)
my_optimizer.step()
my_scheduler.step()
# Restore the previous state
accelerator.load_state("my/save/path/checkpointing/checkpoint_0")Memulihkan status DataLoader
Setelah melanjutkan dari checkpoint, mungkin juga diinginkan untuk melanjutkan dari titik tertentu dalam DataLoader yang aktif jika state disimpan di tengah epoch. Anda dapat menggunakan skip_first_batches() untuk melakukannya.
from accelerate import Accelerator
accelerator = Accelerator(project_dir="my/save/path")
train_dataloader = accelerator.prepare(train_dataloader)
accelerator.load_state("my_state")
# Assume the checkpoint was saved 100 steps into the epoch
skipped_dataloader = accelerator.skip_first_batches(train_dataloader, 100)
# After the first iteration, go back to `train_dataloader`
# First epoch
for batch in skipped_dataloader:
# Do something
pass
# Second epoch
for batch in train_dataloader:
# Do something
pass