Accelerate documentation
FSDP1 vs FSDP2
FSDP1 vs FSDP2
Ce guide explique les principales différences entre FSDP1 et FSDP2 et vous aide à migrer votre code existant vers FSDP2 avec un minimum de modifications.
En quoi FSDP2 est-il meilleur que FSDP1 ?
Tout d'abord, nous voulons comprendre le fonctionnement interne de FSDP1 et de FSDP2 afin de saisir les différences entre les deux. Cela nous aide également à comprendre les limites de FSDP1 et la manière dont FSDP2 les résout.
Nous allons aborder un scénario où nous disposons d'une seule Layer contenant 3 couches Linear et encapsulée à l'aide de FSDP pour être fragmentée sur 2 GPU.

FSDP1
Tout d'abord, il faut comprendre le FSDP1 d'origine et les limites qu'il impose. Il représente chaque module FSDP sous la forme d'un unique FlatParameter, c'est-à-dire un tenseur 1D unique contenant tous les paramètres du module, qui sont ensuite répartis sur les différents rangs. Autrement dit, si vous enveloppez le Layer avec FSDP1, vous obtiendrez un résultat de ce type :

Vous remarquerez peut-être un problème. L’ensemble de la Layer est aplati en un unique FlatParameter, qui est ensuite réparti sur les différents rangs. Mais s’il s’agit d’un seul objet FlatParameter, comment stocker les métadonnées ? C’est l’une des limites. Il n’est pas possible de stocker correctement les métadonnées par paramètre, telles que dtype, requires_grad, etc., sans recourir à des astuces peu élégantes.
FSDP2
C’est pourquoi FSDP2 a été introduit. Il n’utilise pas FlatParameter, mais utilise à la place DTensor, qui est l’abréviation de « Distributed Tensor ». Chaque DTensor représente en substance un torch.Tensor classique qui a été fragmenté entre les rangs. Il contient des métadonnées sur le torch.Tensor d’origine et sur sa fragmentation, le type de placement, etc. C’est pourquoi on parle de per-parameter sharding. La figure suivante illustre la différence :

Each Parameter of the original Layer is sharded across the 0th dimension, and split between 2 GPUs. Now, each Linear layer is a separate DTensor and storing metadata per-parameter is possible and straightforward.
Dans l'image ci-dessus, les tenseurs étaient répartis sur la 1ère dimension afin de faire tenir l'image à l'écran ; en réalité, ils sont répartis sur la 0e dimension, comme indiqué ci-dessus
Que propose FSDP2 ?
FSDP2 est une nouvelle version améliorée de l’API d’entraînement parallèle de données entièrement fragmentées de PyTorch. Son principal avantage est l’utilisation de DTensor pour représenter les paramètres fragmentés. Par rapport à FSDP1, il offre :
- Implémentation interne plus simple, où chaque
Parameterest unDTensordistinct - Permet un gel partiel simple des paramètres grâce à ce qui précède, ce qui rend des méthodes telles que
LORAfonctionnelles sans configuration supplémentaire - Avec
DTensor,FSDP2prend en charge le mélange defp8et d'autres types de paramètres dans le même modèle sans configuration supplémentaire - Un point de contrôle plus rapide et plus simple, sans communication supplémentaire entre les rangs, grâce à
SHARDED_STATE_DICTet àtorch.distributed.checkpoint: chaque rang ne sauvegarde ainsi que son propre fragment et les métadonnées correspondantes. - Pour le chargement, il utilise un
state_dictdu modèle fragmenté pour charger directement les paramètres fragmentés - Prise en charge du point de contrôle asynchrone, où les paramètres sont d'abord copiés en mémoire CPU, puis le thread principal continue l'entraînement pendant qu'un autre thread stocke les paramètres sur disque
- Efficacité mémoire et utilisation déterministe de la mémoire,
FSDP2n’utilise plusrecordStreamet utilise la synchronisation de flux à flux (pour plus de détails techniques, voir ce post de forum et ce ticket) - À l'avenir, des optimisations des motifs de communication via
torch.compilesont prévues, afin d'améliorer encore la performance et l'efficacité mémoire
Différences d'API
Nous avons déjà abordé les différences internes, voyons maintenant les différences que vous, en tant qu’utilisateur, devez connaître.
Voici les principales modifications des options de configuration lors de l'utilisation de FSDP2 via l'interface en ligne de commande accelerate :
Précédent (FSDP1) | Nouveau (FSDP2) | Ce qui a changé |
|---|---|---|
--fsdp_sharding_strategy | --fsdp_reshard_after_forward | remplace --fsdp_sharding_strategy, modifié en true (précédemment FULL_SHARD) ou false (précédemment SHARD_GRAD_OP) |
--fsdp_backward_prefetch | **REMOVED** | FSDP2 utilise par défaut l’option BACKWARD_PRE précédente, car seule celle-ci permet le chevauchement de la communication et du calcul |
--fsdp_forward_prefetch | **PAS ENCORE IMPLÉMENTÉ** | La manière d'implémenter cela fait l'objet d'une discussion active ; pour l'instant, ce n'est pas pris en charge dans FSDP2 |
--fsdp_sync_module_states | **REMOVED** | avec FSDP2, ce paramètre devient redondant |
--fsdp_cpu_ram_efficient_loading | --fsdp_cpu_ram_efficient_loading | si true, FSDP2 chargera de même le modèle uniquement sur le rang 0, puis les paramètres seront synchronisés sur les autres rangs, ce qui est le même comportement que FSDP1, cependant, définir --fsdp_sync_module_states n’est plus nécessaire |
--fsdp_state_dict_type | --fsdp_state_dict_type | LOCAL_STATE_DICT devient obsolète et avec FSDP2, SHARDED_STATE_DICT est l’option par défaut, ce qui entraîne aucune communication supplémentaire et chaque rang sauvegarde son propre shard. L’autre option possible est FULL_STATE_DICT, qui entraîne une communication supplémentaire et une augmentation de l’utilisation de la mémoire, mais sauvegarde le modèle complet depuis le rang 0. |
--fsdp_use_orig_params | **REMOVED** | FSDP2 utilise en arrière-plan la classe DTensor, ce qui signifie qu'il utilise toujours les paramètres d'origine par défaut |
| **NOUVEAU** | --fsdp_version | 1 est l’option par défaut, afin de ne pas casser le code existant ; passez à 2 pour utiliser FSDP2 |
Pour toutes les autres options qui restent inchangées, consultez la documentation de FSDP.
Comment passer à FSDP2
En cas d'utilisation de code Python :
Il suffit de définir fsdp_version=2 lors de la création de votre plugin et de remplacer les options conformément au tableau ci-dessus.
from accelerate import FullyShardedDataParallelPlugin, Accelerator
fsdp_plugin = FullyShardedDataParallelPlugin(
fsdp_version=2
# other options...
)
accelerator = Accelerator(fsdp_plugin=fsdp_plugin)En cas d'utilisation d'une configuration YAML :
Utilisez notre outil de conversion :
accelerate to-fsdp2 --config_file config.yaml --output_file new_config.yaml
Cela convertira automatiquement tous les paramètres FSDP1 en leurs équivalents FSDP2. Utilisez --overwrite pour mettre à jour le fichier existant au lieu d’en créer un nouveau.