PEFT documentation
학습 가능한 토큰
학습 가능한 토큰
Trainable Tokens 방법은 전체 임베딩 행렬을 학습하거나 임베딩 행렬에 어댑터를 사용하는 것 없이, 특정 토큰 임베딩을 대상으로 미세 조정하는 방법을 제공합니다. 이 방법은 여기의 초기 구현에 기반합니다.
이 메서드는 특정 토큰만 대상으로 하며, 사용자가 지정한 토큰 인덱스를 선택적으로 학습합니다. 따라서 필요한 RAM 용량이 낮아지고, 전체 파인튜닝된 임베딩 행렬을 저장하는 것보다 디스크 메모리 사용량도 크게 줄어듭니다.
gemma-2-2b(상대적으로 큰 임베딩 행렬을 가짐)의 경우, 이 스크립트로 수행한 예비 벤치마크에 따르면 임베딩 행렬 전체를 파인튜닝하는 것보다 Trainable Tokens를 사용할 때 약 4 GiB의 VRAM을 절약할 수 있습니다. LoRA도 비슷한 양의 VRAM을 사용하지만, 변경하지 않기를 원하는 토큰까지 타겟팅할 수 있습니다. 참고로 이는 단순한 참고 사항이며, 임베딩 행렬의 크기에 따라 이러한 수치가 다소 달라질 수 있습니다.
이 메서드는 토큰을 자동으로 추가하지 않으므로, 토크나이저에 토큰을 직접 추가하고 모델의 임베딩 행렬 크기를 그에 맞게 조정해야 합니다. 이 메서드는 사용자가 지정한 토큰에 대한 임베딩만 다시 학습합니다. 이 메서드는 LoRA 레이어와 함께 사용할 수도 있습니다! LoRA 문서를 참조하세요.
새 토큰을 추가할 때 save_pretrained()로 모델을 저장하거나 get_peft_model_state_dict()로 state dict를 가져오면, embedding matrix가 리사이즈되었기 때문에 차이 부분만 저장하는 대신 전체 embedding matrix를 저장할 수 있습니다. 이는 예방 조치입니다. 공간을 절약하려면
save_pretrained를 호출할 때save_embedding_layers=False를 설정하여 이 동작을 비활성화할 수 있습니다. embedding matrix를 다른 방식으로 수정하지 않는 한 이렇게 하는 것이 안전하며, 이러한 변경 사항은 trainable tokens에 의해 추적되지 않기 때문입니다.
벤치마크 개요
API
TrainableTokensConfig
클래스 peft.TrainableTokensConfig
< source >( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falsetoken_indices: list[int] = <factory>target_modules: Optional[Union[list[str], str]] = Noneinit_weights: bool = True )
매개변수
- token_indices (
list[int]) — 학습 가능한 토큰의 인덱스를 나타내는 정수 목록입니다. 토크나이저를 사용하여 특정 토큰의 인덱스를 찾으려면 문자열을 토큰화하고 반환된input_ids를 확인하면 됩니다. 인덱스의 수가 전체 토큰 수에 가까울수록 이 방법의 효율이 낮아집니다. - target_modules (
Optional[Union[list[str], str]]) —TrainableTokensLayer로 교체할 모듈 이름의 목록 또는 모듈 이름의 정규식 표현식입니다. 정의되지 않은 경우, 모델에get_input_embeddings메서드가 있으면(변환기 모델은 보통 있습니다) 모델의 입력 임베딩 레이어를 가져오도록 시도하며, 실패하면 기본값은 ‘embed_tokens’입니다. 다른 예시 대상은embedding,encoder.embeddings또는decoder.embeddings입니다. - init_weights (
bool) — 기본적으로 새로운 토큰의 가중치는 해당 토큰 임베딩과 동일하게 초기화됩니다. 이를 통해 학습되지 않은 상태에서 TrainableTokens가 아무 동작도 하지 않도록(no-op) 합니다.False로 설정하면 가중치가 무작위 값으로 초기화됩니다. 정확히 무엇을 하는지 알고 있지 않다면 이 설정을 변경하지 마세요.
TrainableTokens 메서드에 대한 구성입니다.
전체 임베딩 행렬을 학습하지 않고도 새로운 토큰(및 기존 토큰의 재학습)을 학습할 수 있습니다. 일부 선택된 토큰(인덱스로 식별)만 학습 가능하도록 표시하고 나머지는 그대로 두므로, 이 방법은 메모리를 절약하면서 새로운 토큰을 추가하거나 기존 토큰의 임베딩을 변경하는 데 사용할 수 있습니다. 임베딩 행렬 전체를 학습하는 경우와 비교하여 저장 공간 및 작업 메모리 사용량이 모두 줄어듭니다.
FSDP/DeepSpeed를 사용한 학습은 아직 완전히 지원되지 않을 수 있습니다.
TrainableTokensModel
클래스 peft.TrainableTokensModel
< source >( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None )