Transformers documentation
FLAN-T5
このモデルは2022年10月20日にHF papersで公開され、2023年6月20日にHugging Face Transformersに貢献されました。
FLAN-T5
概要
FLAN-T5は論文Scaling Instruction-Finetuned Language Modelsで公開されました。これは、複数のタスクの混合でファインチューニングされたT5の強化版です。
モデルのファインチューニングを行わずに、FLAN-T5の重みを直接使用できます:
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
model = AutoModelForSeq2SeqLM.from_pretrained("google/flan-t5-small", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("google/flan-t5-small")
inputs = tokenizer("A step by step recipe to make bolognese pasta:", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs)
print(tokenizer.batch_decode(outputs, skip_special_tokens=True))
['Pour a cup of bolognese into a large bowl and add the pasta']FLAN-T5には、T5 バージョン 1.1 と同じ改善が含まれています（モデルの改善に関する詳細は、こちらを参照してください。）。
Googleは、以下のバリアントをリリースしました:
元のチェックポイントはこちらで確認できます。
Update on GitHubすべての API リファレンス、コード例、ノートブックについては、T5 のドキュメントページを参照してください。FLAN-T5 の学習と評価に関する詳細については、モデルカードを参照してください。