PEFT documentation
Polytropon
Polytropon
Polytropon est un modèle multitâche doté d’un certain nombre d’adaptateurs LoRA distincts dans son « inventaire ». Le modèle apprend la combinaison correcte d’adaptateurs de l’inventaire à l’aide d’une fonction de routage afin de sélectionner le meilleur sous-ensemble de modules pour une tâche spécifique. PEFT prend également en charge le Multi-Head Adapter Routing (MHR) pour Polytropon, qui s’appuie sur la fonction de routage et l’améliore en combinant les têtes d’adaptateurs de manière plus fine. Les têtes d’adaptateurs sont séparées en blocs disjoints et une fonction de routage différente est apprise pour chacun, permettant une expressivité accrue.
L'abstract de l'article est :
Une conception modulaire encourage les modèles neuronaux à dissocier et à recombiner différentes facettes du savoir afin de généraliser de manière plus systématique à de nouvelles tâches. Dans ce travail, nous supposons que chaque tâche est associée à un sous-ensemble de compétences latentes discrètes issues d'un inventaire (potentiellement restreint). En retour, les compétences correspondent à des paramétrisations de modèle efficaces en termes de paramètres (creuses / de faible rang). En apprenant conjointement ces éléments et une matrice d'allocation tâche-compétence, le réseau pour chaque tâche est instancié comme la moyenne des paramètres des compétences actives. Pour favoriser des partitions douces non triviales des compétences entre les tâches, nous expérimentons une série de biais inductifs, tels qu'une a priori du processus de buffet indien et un taux d'apprentissage à deux vitesses. Nous évaluons notre modèle de compétences latentes dans deux configurations principales : 1) l'apprentissage par renforcement multitâche pour le suivi d'instructions ancrées sur 8 niveaux de la plateforme BabyAI ; et 2) l'adaptation few-shot de modèles génératifs texte-vers-texte pré-entraînés sur CrossFit, un benchmark comprenant 160 tâches de TALN. Nous constatons que la conception modulaire d'un réseau augmente significativement l'efficacité en échantillons en apprentissage par renforcement et la généralisation few-shot en apprentissage supervisé, par rapport aux lignes de base avec des paramètres entièrement partagés, spécifiques à la tâche ou générés conditionnellement, où le savoir est enchevêtré entre les tâches. En outre, nous montrons comment les compétences discrètes aident à l'interprétabilité, car elles produisent une hiérarchie explicite des tâches.
L'abstract de l'article est :
Le fine-tuning efficace en termes de paramètres (PEFT) pour la généralisation inter-tâches consiste à pré-entraîner des adaptateurs sur un ensemble d'entraînement multi-tâches avant une adaptation few-shot aux tâches de test. Polytropon [Ponti et al., 2023] (Poly) apprend conjointement un inventaire d'adaptateurs et une fonction de routage qui sélectionne un sous-ensemble (de taille variable) d'adaptateurs pour chaque tâche, tant pendant la pré-entraînement que l'adaptation few-shot. Dans cet article, nous étudions le rôle joué par le routage des adaptateurs dans son succès et concevons de nouvelles variantes fondées sur nos constats. D'abord, nous nous appuyons sur l'intuition qu'un routage plus fin offre une expressivité accrue. Nous proposons donc MHR (Multi-Head Routing), qui combine des sous-ensembles de paramètres d'adaptateurs et surpasse Poly avec un budget de paramètres comparable ; en ne fine-tunant que la fonction de routage et non les adaptateurs (MHR-z), nous obtenons des performances compétitives avec une efficacité paramétrique extrême. Ensuite, nous constatons que les performances de Poly/MHR résultent d'une meilleure optimisation multi-tâches, plutôt que de biais inductifs modulaires facilitant la recombinaison des adaptateurs et l'adaptation locale, comme cela avait été supposé auparavant. En effet, nous observons que MHR présente un alignement des gradients plus élevé entre les tâches que toute autre méthode. Comme cela implique que le routage n'est crucial que pendant la pré-entraînement multi-tâches, nous proposons MHR-mu, qui abandonne le routage et fine-tune la moyenne des adaptateurs pré-entraînés lors de l'adaptation few-shot. Cela établit MHR-mu comme une méthode efficace pour le fine-tuning d'un seul adaptateur..
Si vous souhaitez d'abord tester le routage sans entraînement, vous pouvez consulter la variante Arrow LoRA.
API
PolyConfig
classe peft.PolyConfig
< source >( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falser: int = 8target_modules: Optional[Union[list[str], str]] = Noneexclude_modules: Optional[Union[list[str], str]] = Nonemodules_to_save: Optional[list[str]] = Noneinit_weights: bool = Truepoly_type: Literal['poly'] = 'poly'n_tasks: int = 1n_skills: int = 4n_splits: int = 1 )
Paramètres
- r (
int) — Dimension d'attention de chaque Lora dans Poly. - target_modules (
Union[List[str],str]) — Les noms des modules auxquels appliquer Poly. - exclude_modules (
Optional[Union[List[str], str]]) — Les noms des modules auxquels l’adaptateur ne doit pas être appliqué. Si une chaîne de caractères est transmise, une correspondance par expression régulière est effectuée. Si une liste de chaînes de caractères est transmise, une correspondance exacte est effectuée ou il est vérifié si le nom du module se termine par l’une des chaînes transmises. - modules_to_save (
List[str]) — Liste des modules, à l'exception des couches Poly, à définir comme entraînables et à enregistrer dans le point de contrôle final. - init_weights (bool) — Indique s'il faut effectuer l'initialisation des poids de Poly.
- poly_type (
Literal["poly"]) — La variante du module Poly à utiliser. Actuellement, seule « poly » est prise en charge. - n_tasks (
int) — Le nombre de tâches dans un scénario multitâche. - n_skills (
int) — Le nombre de compétences (LoRA) dans chaque couche Poly. - n_splits (
int) — Le nombre de splits au sein de chaque LoRA d'une couche Poly. Une valeur supérieure à 1 indique l'utilisation du Multi-Head Routing (MHR).
Ceci est la classe de configuration destinée à stocker la configuration d'un PolyModel.
PolyModel
classe peft.PolyModel
< source >( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None )