Accelerate documentation

FSDP1 vs FSDP2

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

FSDP1 vs FSDP2

Ce guide explique les principales différences entre FSDP1 et FSDP2 et vous aide à migrer votre code existant vers FSDP2 avec un minimum de modifications.

En quoi FSDP2 est-il meilleur que FSDP1 ?

Tout d'abord, nous voulons comprendre le fonctionnement interne de FSDP1 et de FSDP2 afin de saisir les différences entre les deux. Cela nous aide également à comprendre les limites de FSDP1 et la manière dont FSDP2 les résout.

Nous allons aborder un scénario où nous disposons d'une seule Layer contenant 3 couches Linear et encapsulée à l'aide de FSDP pour être fragmentée sur 2 GPU.

Layer

FSDP1

Tout d'abord, il faut comprendre le FSDP1 d'origine et les limites qu'il impose. Il représente chaque module FSDP sous la forme d'un unique FlatParameter, c'est-à-dire un tenseur 1D unique contenant tous les paramètres du module, qui sont ensuite répartis sur les différents rangs. Autrement dit, si vous enveloppez le Layer avec FSDP1, vous obtiendrez un résultat de ce type :

FSDP1

Vous remarquerez peut-être un problème. L’ensemble de la Layer est aplati en un unique FlatParameter, qui est ensuite réparti sur les différents rangs. Mais s’il s’agit d’un seul objet FlatParameter, comment stocker les métadonnées ? C’est l’une des limites. Il n’est pas possible de stocker correctement les métadonnées par paramètre, telles que dtype, requires_grad, etc., sans recourir à des astuces peu élégantes.

FSDP2

C’est pourquoi FSDP2 a été introduit. Il n’utilise pas FlatParameter, mais utilise à la place DTensor, qui est l’abréviation de « Distributed Tensor ». Chaque DTensor représente en substance un torch.Tensor classique qui a été fragmenté entre les rangs. Il contient des métadonnées sur le torch.Tensor d’origine et sur sa fragmentation, le type de placement, etc. C’est pourquoi on parle de per-parameter sharding. La figure suivante illustre la différence :

FSDP2

Each Parameter of the original Layer is sharded across the 0th dimension, and split between 2 GPUs. Now, each Linear layer is a separate DTensor and storing metadata per-parameter is possible and straightforward.

Dans l'image ci-dessus, les tenseurs étaient répartis sur la 1ère dimension afin de faire tenir l'image à l'écran ; en réalité, ils sont répartis sur la 0e dimension, comme indiqué ci-dessus

Que propose FSDP2 ?

FSDP2 est une nouvelle version améliorée de l’API d’entraînement parallèle de données entièrement fragmentées de PyTorch. Son principal avantage est l’utilisation de DTensor pour représenter les paramètres fragmentés. Par rapport à FSDP1, il offre :

  • Implémentation interne plus simple, où chaque Parameter est un DTensor distinct
  • Permet un gel partiel simple des paramètres grâce à ce qui précède, ce qui rend des méthodes telles que LORA fonctionnelles sans configuration supplémentaire
  • Avec DTensor, FSDP2 prend en charge le mélange de fp8 et d'autres types de paramètres dans le même modèle sans configuration supplémentaire
  • Un point de contrôle plus rapide et plus simple, sans communication supplémentaire entre les rangs, grâce à SHARDED_STATE_DICT et à torch.distributed.checkpoint : chaque rang ne sauvegarde ainsi que son propre fragment et les métadonnées correspondantes.
  • Pour le chargement, il utilise un state_dict du modèle fragmenté pour charger directement les paramètres fragmentés
  • Prise en charge du point de contrôle asynchrone, où les paramètres sont d'abord copiés en mémoire CPU, puis le thread principal continue l'entraînement pendant qu'un autre thread stocke les paramètres sur disque
  • Efficacité mémoire et utilisation déterministe de la mémoire, FSDP2 n’utilise plus recordStream et utilise la synchronisation de flux à flux (pour plus de détails techniques, voir ce post de forum et ce ticket)
  • À l'avenir, des optimisations des motifs de communication via torch.compile sont prévues, afin d'améliorer encore la performance et l'efficacité mémoire

Différences d'API

Nous avons déjà abordé les différences internes, voyons maintenant les différences que vous, en tant qu’utilisateur, devez connaître.

Voici les principales modifications des options de configuration lors de l'utilisation de FSDP2 via l'interface en ligne de commande accelerate :

Précédent (FSDP1)Nouveau (FSDP2)Ce qui a changé
--fsdp_sharding_strategy--fsdp_reshard_after_forwardremplace --fsdp_sharding_strategy, modifié en true (précédemment FULL_SHARD) ou false (précédemment SHARD_GRAD_OP)
--fsdp_backward_prefetch**REMOVED**FSDP2 utilise par défaut l’option BACKWARD_PRE précédente, car seule celle-ci permet le chevauchement de la communication et du calcul
--fsdp_forward_prefetch**PAS ENCORE IMPLÉMENTÉ**La manière d'implémenter cela fait l'objet d'une discussion active ; pour l'instant, ce n'est pas pris en charge dans FSDP2
--fsdp_sync_module_states**REMOVED**avec FSDP2, ce paramètre devient redondant
--fsdp_cpu_ram_efficient_loading--fsdp_cpu_ram_efficient_loadingsi true, FSDP2 chargera de même le modèle uniquement sur le rang 0, puis les paramètres seront synchronisés sur les autres rangs, ce qui est le même comportement que FSDP1, cependant, définir --fsdp_sync_module_states n’est plus nécessaire
--fsdp_state_dict_type--fsdp_state_dict_typeLOCAL_STATE_DICT devient obsolète et avec FSDP2, SHARDED_STATE_DICT est l’option par défaut, ce qui entraîne aucune communication supplémentaire et chaque rang sauvegarde son propre shard. L’autre option possible est FULL_STATE_DICT, qui entraîne une communication supplémentaire et une augmentation de l’utilisation de la mémoire, mais sauvegarde le modèle complet depuis le rang 0.
--fsdp_use_orig_params**REMOVED**FSDP2 utilise en arrière-plan la classe DTensor, ce qui signifie qu'il utilise toujours les paramètres d'origine par défaut
**NOUVEAU**--fsdp_version1 est l’option par défaut, afin de ne pas casser le code existant ; passez à 2 pour utiliser FSDP2

Pour toutes les autres options qui restent inchangées, consultez la documentation de FSDP.

Comment passer à FSDP2

En cas d'utilisation de code Python :

Il suffit de définir fsdp_version=2 lors de la création de votre plugin et de remplacer les options conformément au tableau ci-dessus.

from accelerate import FullyShardedDataParallelPlugin, Accelerator

fsdp_plugin = FullyShardedDataParallelPlugin(
    fsdp_version=2
    # other options...
)
accelerator = Accelerator(fsdp_plugin=fsdp_plugin)

En cas d'utilisation d'une configuration YAML :

Utilisez notre outil de conversion :

accelerate to-fsdp2 --config_file config.yaml --output_file new_config.yaml

Cela convertira automatiquement tous les paramètres FSDP1 en leurs équivalents FSDP2. Utilisez --overwrite pour mettre à jour le fichier existant au lieu d’en créer un nouveau.

Update on GitHub