PEFT documentation

프롬프트 튜닝

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

프롬프트 튜닝

Only train and store a significantly smaller set of task-specific prompt parameters (image source).

Prompt tuning는 임베딩 공간에서 학습 가능한 벡터로 구성된 작업별 가상 프롬프트를 입력에 추가합니다. 가상 토큰 매개변수는 동결된 사전 학습 모델 매개변수와 독립적으로 업데이트됩니다.

해당 논문의 초록은 다음과 같습니다:

본 연구에서는 동결된 언어 모델을 특정 하위 작업에 조건화하기 위해 “소프트 프롬프트”를 학습하는 단순하면서도 효과적인 메커니즘인 “프롬프트 튜닝”을 탐구합니다. GPT-3에서 사용되는 이산 텍스트 프롬프트와 달리, 소프트 프롬프트는 역전파를 통해 학습되며, 임의의 수의 라벨링된 예시에서 신호를 통합하도록 조정될 수 있습니다. 우리의 엔드투엔드 학습 방식은 GPT-3의 “퓨샷” 학습을 큰 폭으로 능가합니다. 더욱 주목할 만한 점은, T5를 사용하여 모델 크기에 대한 아블레이션 분석을 통해 프롬프트 튜닝이 스케일이 커질수록 경쟁력이 높아진다는 것을 보여준다는 것입니다. 모델이 수십억 개의 매개변수를 초과하면, 우리의 방법은 “격차를 줄여” 모델 튜닝(모든 모델 가중치가 조정되는 경우)의 강력한 성능과匹敵합니다. 이 발견은 대규모 모델을 공유하고 서빙하는 데 비용이 많이 들며, 하나의 동결된 모델을 여러 하위 작업에 재사용할 수 있는 능력이 이러한 부담을 완화할 수 있다는 점에서 특히 관련이 있습니다. 우리의 방법은 최근 제안된 Li와 Liang(2021)의 “프리픽스 튜닝”을 단순화한 것으로 볼 수 있으며, 이 방법과 기타 유사한 접근 방식과의 비교를 제공합니다. 마지막으로, 완전한 모델 튜닝과 비교할 때, 소프트 프롬프트로 동결된 모델을 조건화하는 것이 도메인 전이에 대한 견고성 측면에서 이점을 제공함을 보여줍니다.

prefix tuning와 달리, 가상 토큰은 첫 번째 레이어의 입력에만 전달됩니다.

사용

두 가지 결정을 내려야 합니다. 모델 입력에 추가할 가상 토큰의 수(num_virtual_tokens)는 학습 가능한 매개변수의 수를 결정하며, 이 토큰들이 어떻게 초기화될지도 결정해야 합니다.

작업 유형, 모델 학습에 사용할 초기 프롬프트 튜닝 텍스트, 추가하고 학습할 가상 토큰 수, 그리고 토크나이저를 사용하여 PromptTuningConfig를 생성합니다.

from peft import PromptTuningConfig, PromptTuningInit, get_peft_model

prompt_tuning_init_text = "Classify if the tweet is a complaint or no complaint.\n"
peft_config = PromptTuningConfig(
    task_type="CAUSAL_LM",
    prompt_tuning_init=PromptTuningInit.TEXT,
    num_virtual_tokens=len(tokenizer(prompt_tuning_init_text)["input_ids"]),
    prompt_tuning_init_text=prompt_tuning_init_text,
    tokenizer_name_or_path="bigscience/bloomz-560m",
)
model = get_peft_model(model, peft_config)
model.print_healthcheck()

벤치마크 개요

API

PromptTuningConfig

클래스 peft.PromptTuningConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falsenum_virtual_tokens: int = Nonetoken_dim: int = Nonenum_transformer_submodules: Optional[int] = Nonenum_attention_heads: Optional[int] = Nonenum_layers: Optional[int] = Nonemodules_to_save: Optional[list[str]] = Noneprompt_tuning_init: peft.tuners.prompt_tuning.config.PromptTuningInit | str = <PromptTuningInit.RANDOM: 'RANDOM'>prompt_tuning_init_text: str | None = Nonetokenizer_name_or_path: str | None = Nonetokenizer_kwargs: dict | None = None )

매개변수

  • prompt_tuning_init (Union[PromptTuningInit, str]) — 프롬프트 임베딩의 초기화입니다. TEXT는 사용자가 제공한 텍스트로 초기화합니다. SAMPLE_VOCAB는 모델 어휘에서 무작위로 샘플링된 토큰으로 초기화합니다. RANDOM는 무작위로 샘플링된 연속적인 소프트 토큰으로 초기화합니다(경고: 샘플링된 소프트 토큰은 임베딩 다양체 밖으로 벗어날 수 있습니다).
  • prompt_tuning_init_text (str, 선택 사항) — 프롬프트 임베딩을 초기화할 텍스트입니다. prompt_tuning_init이 TEXT인 경우에만 사용됩니다.
  • tokenizer_name_or_path (str, 선택 사항) — 토크나이저의 이름 또는 경로입니다. prompt_tuning_init이 TEXT인 경우에만 사용됩니다.
  • tokenizer_kwargs (dict, 선택 사항) — AutoTokenizer.from_pretrained에 전달할 키워드 인자입니다. prompt_tuning_init이 TEXT인 경우에만 사용됩니다.

이것은 PromptEmbedding의 구성을 저장하기 위한 구성 클래스입니다.

PromptEmbedding

클래스 peft.PromptEmbedding

< >

( configword_embeddings )

매개변수

  • config (PromptTuningConfig) — 프롬프트 임베딩의 구성입니다.
  • word_embeddings (torch.nn.Module) — 기본 transformer 모델의 단어 임베딩입니다.

가상 토큰을 프롬프트 임베딩으로 인코딩할 모델.

속성:

  • 임베딩 (torch.nn.Embedding) — 프롬프트 임베딩의 임베딩 레이어.

예:

>>> from peft import PromptEmbedding, PromptTuningConfig

>>> config = PromptTuningConfig(
...     peft_type="PROMPT_TUNING",
...     task_type="SEQ_2_SEQ_LM",
...     num_virtual_tokens=20,
...     token_dim=768,
...     num_transformer_submodules=1,
...     num_attention_heads=12,
...     num_layers=12,
...     prompt_tuning_init="TEXT",
...     prompt_tuning_init_text="Predict if sentiment of this review is positive, negative or neutral",
...     tokenizer_name_or_path="t5-base",
... )

>>> # t5_model.shared is the word embeddings of the base model
>>> prompt_embedding = PromptEmbedding(config, t5_model.shared)

입력 Shape: (batch_size, total_virtual_tokens)

Output Shape: (batch_size, total_virtual_tokens, token_dim)

Update on GitHub