PEFT documentation

Polytropon

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Polytropon

Polytropon est un modèle multitâche doté d’un certain nombre d’adaptateurs LoRA distincts dans son « inventaire ». Le modèle apprend la combinaison correcte d’adaptateurs de l’inventaire à l’aide d’une fonction de routage afin de sélectionner le meilleur sous-ensemble de modules pour une tâche spécifique. PEFT prend également en charge le Multi-Head Adapter Routing (MHR) pour Polytropon, qui s’appuie sur la fonction de routage et l’améliore en combinant les têtes d’adaptateurs de manière plus fine. Les têtes d’adaptateurs sont séparées en blocs disjoints et une fonction de routage différente est apprise pour chacun, permettant une expressivité accrue.

Combiner des compétences modulaires dans l'apprentissage multitâche
Multi-Head Adapter Routing pour la généralisation inter-tâches

L'abstract de l'article est :

Une conception modulaire encourage les modèles neuronaux à dissocier et à recombiner différentes facettes du savoir afin de généraliser de manière plus systématique à de nouvelles tâches. Dans ce travail, nous supposons que chaque tâche est associée à un sous-ensemble de compétences latentes discrètes issues d'un inventaire (potentiellement restreint). En retour, les compétences correspondent à des paramétrisations de modèle efficaces en termes de paramètres (creuses / de faible rang). En apprenant conjointement ces éléments et une matrice d'allocation tâche-compétence, le réseau pour chaque tâche est instancié comme la moyenne des paramètres des compétences actives. Pour favoriser des partitions douces non triviales des compétences entre les tâches, nous expérimentons une série de biais inductifs, tels qu'une a priori du processus de buffet indien et un taux d'apprentissage à deux vitesses. Nous évaluons notre modèle de compétences latentes dans deux configurations principales : 1) l'apprentissage par renforcement multitâche pour le suivi d'instructions ancrées sur 8 niveaux de la plateforme BabyAI ; et 2) l'adaptation few-shot de modèles génératifs texte-vers-texte pré-entraînés sur CrossFit, un benchmark comprenant 160 tâches de TALN. Nous constatons que la conception modulaire d'un réseau augmente significativement l'efficacité en échantillons en apprentissage par renforcement et la généralisation few-shot en apprentissage supervisé, par rapport aux lignes de base avec des paramètres entièrement partagés, spécifiques à la tâche ou générés conditionnellement, où le savoir est enchevêtré entre les tâches. En outre, nous montrons comment les compétences discrètes aident à l'interprétabilité, car elles produisent une hiérarchie explicite des tâches.

Si vous souhaitez d'abord tester le routage sans entraînement, vous pouvez consulter la variante Arrow LoRA.

API

PolyConfig

classe peft.PolyConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falser: int = 8target_modules: Optional[Union[list[str], str]] = Noneexclude_modules: Optional[Union[list[str], str]] = Nonemodules_to_save: Optional[list[str]] = Noneinit_weights: bool = Truepoly_type: Literal['poly'] = 'poly'n_tasks: int = 1n_skills: int = 4n_splits: int = 1 )

Paramètres

  • r (int) — Dimension d'attention de chaque Lora dans Poly.
  • target_modules (Union[List[str],str]) — Les noms des modules auxquels appliquer Poly.
  • exclude_modules (Optional[Union[List[str], str]]) — Les noms des modules auxquels l’adaptateur ne doit pas être appliqué. Si une chaîne de caractères est transmise, une correspondance par expression régulière est effectuée. Si une liste de chaînes de caractères est transmise, une correspondance exacte est effectuée ou il est vérifié si le nom du module se termine par l’une des chaînes transmises.
  • modules_to_save (List[str]) — Liste des modules, à l'exception des couches Poly, à définir comme entraînables et à enregistrer dans le point de contrôle final.
  • init_weights (bool) — Indique s'il faut effectuer l'initialisation des poids de Poly.
  • poly_type (Literal["poly"]) — La variante du module Poly à utiliser. Actuellement, seule « poly » est prise en charge.
  • n_tasks (int) — Le nombre de tâches dans un scénario multitâche.
  • n_skills (int) — Le nombre de compétences (LoRA) dans chaque couche Poly.
  • n_splits (int) — Le nombre de splits au sein de chaque LoRA d'une couche Poly. Une valeur supérieure à 1 indique l'utilisation du Multi-Head Routing (MHR).

Ceci est la classe de configuration destinée à stocker la configuration d'un PolyModel.

PolyModel

classe peft.PolyModel

< >

( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None )

Update on GitHub