PEFT documentation

학습 가능한 토큰

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

학습 가능한 토큰

Trainable Tokens 방법은 전체 임베딩 행렬을 학습하거나 임베딩 행렬에 어댑터를 사용하는 것 없이, 특정 토큰 임베딩을 대상으로 미세 조정하는 방법을 제공합니다. 이 방법은 여기의 초기 구현에 기반합니다.

이 메서드는 특정 토큰만 대상으로 하며, 사용자가 지정한 토큰 인덱스를 선택적으로 학습합니다. 따라서 필요한 RAM 용량이 낮아지고, 전체 파인튜닝된 임베딩 행렬을 저장하는 것보다 디스크 메모리 사용량도 크게 줄어듭니다.

gemma-2-2b(상대적으로 큰 임베딩 행렬을 가짐)의 경우, 이 스크립트로 수행한 예비 벤치마크에 따르면 임베딩 행렬 전체를 파인튜닝하는 것보다 Trainable Tokens를 사용할 때 약 4 GiB의 VRAM을 절약할 수 있습니다. LoRA도 비슷한 양의 VRAM을 사용하지만, 변경하지 않기를 원하는 토큰까지 타겟팅할 수 있습니다. 참고로 이는 단순한 참고 사항이며, 임베딩 행렬의 크기에 따라 이러한 수치가 다소 달라질 수 있습니다.

이 메서드는 토큰을 자동으로 추가하지 않으므로, 토크나이저에 토큰을 직접 추가하고 모델의 임베딩 행렬 크기를 그에 맞게 조정해야 합니다. 이 메서드는 사용자가 지정한 토큰에 대한 임베딩만 다시 학습합니다. 이 메서드는 LoRA 레이어와 함께 사용할 수도 있습니다! LoRA 문서를 참조하세요.

새 토큰을 추가할 때 save_pretrained()로 모델을 저장하거나 get_peft_model_state_dict()로 state dict를 가져오면, embedding matrix가 리사이즈되었기 때문에 차이 부분만 저장하는 대신 전체 embedding matrix를 저장할 수 있습니다. 이는 예방 조치입니다. 공간을 절약하려면 save_pretrained를 호출할 때 save_embedding_layers=False를 설정하여 이 동작을 비활성화할 수 있습니다. embedding matrix를 다른 방식으로 수정하지 않는 한 이렇게 하는 것이 안전하며, 이러한 변경 사항은 trainable tokens에 의해 추적되지 않기 때문입니다.

벤치마크 개요

API

TrainableTokensConfig

클래스 peft.TrainableTokensConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falsetoken_indices: list[int] = <factory>target_modules: Optional[Union[list[str], str]] = Noneinit_weights: bool = True )

매개변수

  • token_indices (list[int]) — 학습 가능한 토큰의 인덱스를 나타내는 정수 목록입니다. 토크나이저를 사용하여 특정 토큰의 인덱스를 찾으려면 문자열을 토큰화하고 반환된 input_ids를 확인하면 됩니다. 인덱스의 수가 전체 토큰 수에 가까울수록 이 방법의 효율이 낮아집니다.
  • target_modules (Optional[Union[list[str], str]]) — TrainableTokensLayer로 교체할 모듈 이름의 목록 또는 모듈 이름의 정규식 표현식입니다. 정의되지 않은 경우, 모델에 get_input_embeddings 메서드가 있으면(변환기 모델은 보통 있습니다) 모델의 입력 임베딩 레이어를 가져오도록 시도하며, 실패하면 기본값은 ‘embed_tokens’입니다. 다른 예시 대상은 embedding, encoder.embeddings 또는 decoder.embeddings입니다.
  • init_weights (bool) — 기본적으로 새로운 토큰의 가중치는 해당 토큰 임베딩과 동일하게 초기화됩니다. 이를 통해 학습되지 않은 상태에서 TrainableTokens가 아무 동작도 하지 않도록(no-op) 합니다. False로 설정하면 가중치가 무작위 값으로 초기화됩니다. 정확히 무엇을 하는지 알고 있지 않다면 이 설정을 변경하지 마세요.

TrainableTokens 메서드에 대한 구성입니다.

전체 임베딩 행렬을 학습하지 않고도 새로운 토큰(및 기존 토큰의 재학습)을 학습할 수 있습니다. 일부 선택된 토큰(인덱스로 식별)만 학습 가능하도록 표시하고 나머지는 그대로 두므로, 이 방법은 메모리를 절약하면서 새로운 토큰을 추가하거나 기존 토큰의 임베딩을 변경하는 데 사용할 수 있습니다. 임베딩 행렬 전체를 학습하는 경우와 비교하여 저장 공간 및 작업 메모리 사용량이 모두 줄어듭니다.

FSDP/DeepSpeed를 사용한 학습은 아직 완전히 지원되지 않을 수 있습니다.

TrainableTokensModel

클래스 peft.TrainableTokensModel

< >

( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None )

Update on GitHub