Transformers documentation
Comunidade
Comece agora
Classes base
Modelos
Pré-processadores
Inferência
Pipeline API
API de geração
Otimização
Conversar com modelos
Serving
Treinamento
Hardware
Quantização
Integrações com o ecossistema
Recursos
Receitas de tarefas
API
Comunidade
Esta página reúne recursos em torno do 🤗 Transformers desenvolvidos pela comunidade.
Recursos da comunidade
| Recurso | Descrição | Autor |
|---|---|---|
| Cartões de vocabulário do Hugging Face Transformers | Um conjunto de cartões de memória baseado no Glossário da Documentação do Transformers, organizado em um formato que pode ser facilmente aprendido/revisado usando o Anki, um aplicativo de código aberto e multiplataforma projetado especificamente para a retenção de conhecimento a longo prazo. Veja este vídeo introdutório sobre como usar os cartões de memória. | Darigov Research |
Notebooks da comunidade
| Notebook | Descrição | Autor | |
|---|---|---|---|
| Fine-tuning de um Transformer pré-treinado para gerar letras de música | Como gerar letras no estilo do seu artista favorito por meio do ajuste fino de um modelo GPT-2 | Aleksey Korshuk | |
| Treinar T5 em TPU | Como treinar o T5 no SQUAD com Transformers e Nlp | Suraj Patil | |
| Fine-tuning do T5 para Classificação e Escolha Múltipla | Como fazer o ajuste fino do T5 para tarefas de classificação e escolha múltipla usando um formato de texto-para-texto com PyTorch Lightning | Suraj Patil | |
| Fine-tune DialoGPT em novos conjuntos de dados e idiomas | Como fazer o ajuste fino do modelo DialoGPT em um novo conjunto de dados para chatbots conversacionais de diálogo aberto | Nathan Cooper | |
| Modelagem de Sequências Longas com Reformer | Como treinar em sequências de até 500.000 tokens com Reformer | Patrick von Platen | |
| Fine-tuning do BART para Sumarização | Como fazer o ajuste fino do BART para sumarização com fastai usando blurr | Wayde Gilliam | |
| Fine-tune um Transformer pré-treinado nos tweets de qualquer pessoa | Como gerar tweets no estilo da sua conta favorita do Twitter, ajustando um modelo GPT-2 | Boris Dayma | |
| Otimizar modelos do 🤗 Hugging Face com Weights & Biases | Um tutorial completo que apresenta a integração do W&B com o Hugging Face | Boris Dayma | |
| Pré-treinar Longformer | Como construir uma versão “longa” de modelos pré-treinados existentes | Iz Beltagy | |
| Fine-tune Longformer para QA | Como fazer o ajuste fino do modelo longformer para a tarefa de QA | Suraj Patil | |
| Avaliar modelo com 🤗nlp | Como avaliar o longformer no TriviaQA com nlp | Patrick von Platen | |
| Fine-tune T5 para extração de spans de sentimento | Como fazer o fine-tuning do T5 para extração de spans de sentimento usando o formato texto-para-texto com PyTorch Lightning | Lorenzo Ampil | |
| Fine-tuning do DistilBert para Classificação Multiclasse | Como fazer o fine-tuning do DistilBert para classificação multiclasse com PyTorch | Abhishek Kumar Mishra | |
| Fine-tuning do BERT para Classificação Multi-rótulo | Como fazer o ajuste fino do BERT para classificação multirrótulo usando PyTorch | Abhishek Kumar Mishra | |
| Fine-tuning do T5 para Sumarização | Como fazer o fine-tuning do T5 para sumarização no PyTorch e acompanhar experimentos com WandB | Abhishek Kumar Mishra | |
| Acelere o Fine-Tuning no Transformers com Preenchimento Dinâmico / Bucketing | Como acelerar o fine-tuning em um fator de 2 usando padding dinâmico / bucketing | Michael Benesty | |
| Pré-treinar o Reformer para Modelagem de Linguagem com Máscaras | Como treinar um modelo Reformer com camadas de autoatenção bidirecional | Patrick von Platen | |
| Expansão e ajuste fino do Sci-BERT | Como aumentar o vocabulário de um modelo SciBERT pré-treinado da AllenAI no conjunto de dados CORD e integrá-lo em um pipeline. | Tanmay Thakur | |
| Fine-tune BlenderBotSmall para Sumarização usando a API Trainer | Como fazer o ajuste fino do BlenderBotSmall para sumarização em um conjunto de dados personalizado, usando a API Trainer. | Tanmay Thakur | |
| Fine-tune Electra e interpretar com Integrated Gradients | Como fazer o fine-tuning do Electra para análise de sentimento e interpretar previsões com Captum Integrated Gradients | Eliza Szczechla | |
| ajustar finamente um modelo GPT-2 não em inglês com a classe Trainer | Como fazer o ajuste fino de um modelo GPT-2 não em inglês com a classe Trainer | Philipp Schmid | |
| Fine-tuning de um modelo DistilBERT para a tarefa de classificação multirótulo | Como fazer o ajuste fino de um modelo DistilBERT para a tarefa de classificação multirótulo | Dhaval Taunk | |
| Fine-tuning do ALBERT para classificação de pares de frases | Como ajustar finamente um modelo ALBERT ou outro modelo baseado em BERT para a tarefa de classificação de pares de sentenças | Nadir El Manouzi | |
| Fine-tune Roberta para análise de sentimento | Como fazer o fine-tuning de um modelo Roberta para análise de sentimento | Dhaval Taunk | |
| Avaliando modelos de geração de perguntas | Quão precisas são as respostas às perguntas geradas pelo seu modelo de transformer seq2seq? | Pascal Zoleko | |
| Use o BERT para sumarização encoder-decoder no CNN/Dailymail | Como fazer o warm-start de um EncoderDecoderModel com um checkpoint google-bert/bert-base-uncased para sumarização no CNN/Dailymail | Patrick von Platen | |
| Aproveite o RoBERTa para sumarização encoder-decoder no BBC XSum | Como iniciar o treinamento de um EncoderDecoderModel compartilhado a partir de um checkpoint FacebookAI/roberta-base para sumarização em BBC/XSum | Patrick von Platen | |
| Fine-tuning do TAPAS em Question Answering Sequencial (SQA) | Como fazer o ajuste fino de TapasForQuestionAnswering com um checkpoint tapas-base no conjunto de dados Sequential Question Answering (SQA) | Niels Rogge | |
| Avaliar o TAPAS em Verificação de Fatos em Tabelas (TabFact) | Como avaliar um TapasForSequenceClassification ajustado com um checkpoint tapas-base-finetuned-tabfact usando uma combinação das bibliotecas 🤗 datasets e 🤗 transformers | Niels Rogge | |
| Ajuste fino do mBART para tradução | Como fazer o ajuste fino do mBART usando o Seq2SeqTrainer para tradução do hindi para o inglês | Vasudev Gupta | |
| Fine-tune o LayoutLM no FUNSD (um conjunto de dados para compreensão de formulários) | Como fazer o ajuste fino de LayoutLMForTokenClassification no conjunto de dados FUNSD para extração de informações de documentos digitalizados | Niels Rogge | |
| Fine-tune DistilGPT2 e gere texto | Como fazer o ajuste fino do DistilGPT2 e gerar texto | Aakash Tripathi | |
| Fine-tune o LED em até 8K tokens | Como fazer o ajuste fino do LED no pubmed para sumarização de longo alcance | Patrick von Platen | |
| Avaliar LED no Arxiv | Como avaliar eficazmente o LED em resumos de longo alcance | Patrick von Platen | |
| Fine-tune o LayoutLM no RVL-CDIP (um conjunto de dados de classificação de imagens de documentos) | Como fazer o ajuste fino de LayoutLMForSequenceClassification no conjunto de dados RVL-CDIP para classificação de documentos digitalizados | Niels Rogge | |
| Decodificação CTC do Wav2Vec2 com ajuste GPT2 | Como decodificar uma sequência CTC com ajuste de modelo de linguagem | Eric Lam | |
| Fine-tune BART para sumarização em dois idiomas com a classe Trainer | Como fazer o ajuste fino do BART para sumarização em dois idiomas com a classe Trainer | Eliza Szczechla | |
| Avaliar o Big Bird no Trivia QA | Como avaliar o BigBird em perguntas e respostas sobre documentos longos no Trivia QA | Patrick von Platen | |
| Criar legendas de vídeo usando Wav2Vec2 | Como criar legendas para o YouTube a partir de qualquer vídeo transcrevendo o áudio com Wav2Vec | Niklas Muennighoff | |
| Fine-tune o Vision Transformer no CIFAR-10 usando PyTorch Lightning | Como fazer o ajuste fino do Vision Transformer (ViT) no CIFAR-10 usando HuggingFace Transformers, Datasets e PyTorch Lightning | Niels Rogge | |
| Fine-tune o Vision Transformer no CIFAR-10 usando o 🤗 Trainer | Como fazer o ajuste fino do Vision Transformer (ViT) no CIFAR-10 usando HuggingFace Transformers, Datasets e o 🤗 Trainer | Niels Rogge | |
| Avaliar o LUKE no Open Entity, um conjunto de dados de tipagem de entidades | Como avaliar o LukeForEntityClassification no conjunto de dados Open Entity | Ikuya Yamada | |
| Avaliar o LUKE no TACRED, um conjunto de dados de extração de relações | Como avaliar o LukeForEntityPairClassification no conjunto de dados TACRED | Ikuya Yamada | |
| Avalie o LUKE no CoNLL-2003, um benchmark importante de NER | Como avaliar LukeForEntitySpanClassification no conjunto de dados CoNLL-2003 | Ikuya Yamada | |
| Avaliar o BigBird-Pegasus no conjunto de dados PubMed | Como avaliar BigBirdPegasusForConditionalGeneration no conjunto de dados PubMed | Vasudev Gupta | |
| Classificação de Emoção em Fala com Wav2Vec2 | Como aproveitar um modelo Wav2Vec2 pré-treinado para Classificação de Emoções no conjunto de dados MEGA | Mehrdad Farahani | |
| Detectar objetos em uma imagem com DETR | Como usar um modelo DetrForObjectDetection treinado para detectar objetos em uma imagem e visualizar a atenção | Niels Rogge | |
| Fine-tuning do DETR em um conjunto de dados personalizado de detecção de objetos | Como fazer o ajuste fino de DetrForObjectDetection em um conjunto de dados personalizado de detecção de objetos | Niels Rogge | |
| Ajuste fino do T5 para Reconhecimento de Entidades Nomeadas | Como fazer o ajuste fino de T5 em uma tarefa de Reconhecimento de Entidades Nomeadas | Ogundepo Odunayo | |
| Fine-tuning de LLMs de código aberto usando QLoRA com MLflow e PEFT | Como usar QLoRA e PEFT para fazer o ajuste fino de um LLM de forma eficiente em memória, enquanto usa MLflow para gerenciar o rastreamento de experimentos | Yuki Watanabe |