Accelerate documentation
ジョブの実行と遅延
ジョブの実行と遅延
通常のスクリプトを実行すると、指示は順番に実行されます。Accelerateを使用してスクリプトを複数のGPUで同時にデプロイすると、複雑さが生じます。各プロセスは指示を順番に実行しますが、プロセスによって実行速度が異なる可能性があるためです。
特定の指示を実行する前に、すべてのプロセスが特定の地点に到達するまで待機する必要がある場合があります。例えば、すべてのプロセスがトレーニングを完了したことを確認する前にモデルを保存すべきではありませんし、すべてのモデルの重みが読み込まれる前にトレーニングを続行したくもないはずです。これを行うには、コードに次の行を書き込むだけです。
accelerator.wait_for_everyone()この指示は、他のすべてのプロセスがその地点に到達するまで、最初に到着したすべてのプロセスをブロックします(スクリプトを単一のGPUまたはCPUで実行する場合は、この指示は何も実行されません)。
このユーティリティを使用すべきいくつかの例を以下に示します。
Some of these are utilized with the main_process_first() context manager, which utilizes wait_for_everyone() to run a particular set of code on the main process beforehand before triggering and launching the other processes
データのダウンロード
データセットをダウンロードする際は、まずメインプロセスでダウンロードし、その後、キャッシュされたデータセットを読み込む必要があります。
load_datasetは内部でロックを実行して、複数のダウンロードが同時に発生することを防止しますが、このライブラリを使わずにダウンロードを行う場合は、このメソッドを使用してください。
with accelerator.main_process_first():
datasets = load_dataset("glue", "mrpc")内部では、これは以下を呼び出すことと同等です:
# First do something on the main process
if accelerator.is_main_process:
datasets = load_dataset("glue", "mrpc")
else:
accelerator.wait_for_everyone()
# And then send it to the rest of them
if not accelerator.is_main_process:
datasets = load_dataset("glue", "mrpc")
else:
accelerator.wait_for_everyone()state_dictの保存
モデルのstate_dictを保存する際、通常はメインプロセスで1つのファイルのみを保存するため、その旨を指定する必要があります。
if accelerator.is_main_process:
model = accelerator.unwrap_model(model)
torch.save(model.state_dict(), "weights.pth")state_dictの読み込み
state_dictをモデル、オプティマイザー、またはスケジューラーに読み込む際は、すべてのワーカーが重みの読み込みを完了するまで待ってから、トレーニングに進んでください。
with accelerator.main_process_first():
state = torch.load("weights.pth")
model.load_state_dict(state)マルチワーカーCPU操作の適用
トークン化などのmap()操作を複数のワーカーに適用する場合は、まずメインプロセスで実行し、その後各ワーカーに伝播させる必要があります。
datasets = load_dataset("glue", "mrpc")
with accelerator.main_process_first():
tokenized_datasets = datasets.map(
tokenize_function,
batched=True,
remove_columns=["idx", "sentence1", "sentence2"],
)Early Stoppingなどのチェックを適用する
特定のプロセスによって設定されたフラグで動作するチェックを行うには、set_trigger および check_trigger API を使用する必要があります。これを行うための有用な例としては、早期停止の使用や、損失の監視(各プロセスで損失がわずかに異なるため)などの状況が挙げられます。
条件が満たされた時点でAccelerator.set_trigger()を呼び出し、どのプロセスでもその条件が満たされたかを確認する場合はAccelerator.check_trigger()を呼び出します:
for (x,y) in data_loader:
logits = model(x)
loss = loss_func(logits, y)
# Assume `should_do_early_stopping` is a custom defined function that returns a conditional
if should_do_early_stopping(loss):
accelerator.set_trigger()
# Later in the training script when we need to check for the breakpoint
if accelerator.check_trigger():
break