PEFT documentation

torch.compile

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

torch.compile

在 PEFT 中,torch.compile 仅适用于部分功能,而非全部。它并非总能生效,原因在于 PEFT 在某些方面具有高度动态性(例如加载和切换多个适配器),这可能会给 torch.compile 带来问题。在其他情况下,torch.compile 可能可以运行,但由于图中断(graph breaks),其速度可能不及预期。

如果没有看到错误,并不一定意味着 torch.compile 运行正确。它可能会产生输出,但该输出可能是错误的。本指南介绍了哪些操作与 torch.compile 兼容,哪些不兼容。对于您自己的测试,我们建议使用最新版本的 PyTorch,因为 torch.compile 正在持续改进中。

除非另有说明,否则使用了默认的 torch.compile 设置。

使用 torch.compile 进行训练和推理

这些功能可与 torch.compile 配合使用。以下列出的所有内容均已在因果语言模型上进行了测试:

  • 使用 🤗 transformers 中的 Trainer 进行训练
  • 使用自定义 PyTorch 循环进行训练
  • 推理
  • 生成

以下适配器已成功通过测试:

  • AdaLoRA
  • BOFT
  • IA³
  • Layer Norm 调优
  • LoHa
  • LoKr
  • LoRA
  • LoRA + DoRA
  • 应用于嵌入层的 LoRA
  • OFT
  • VeRA
  • HRA

使用 torch.compile 的高级 PEFT 功能

以下是部分更高级的 PEFT 功能,它们均可用。这些功能都已通过 LoRA 进行了测试。

  • modules_to_save (i.e. config = LoraConfig(..., modules_to_save=...))
  • 合并适配器(一个或多个)
  • 将多个适配器合并为一个适配器(即调用 model.add_weighted_adapter(...))
  • 使用 PEFT 适配器与量化(bitsandbytes)
  • 禁用适配器(即使用 with model.disable_adapter())
  • 卸载(即调用 model.merge_and_unload())
  • 混合适配器批次(即调用 model(batch, adapter_names=["__base__", "default", "other", ...]))
  • 使用多个适配器进行推理(即使用 model.add_adapter 或 model.load_adapter 加载超过 1 个适配器);为此,请在加载完所有适配器之后再调用 torch.compile

通常,如果某个功能在 LoRA 下能正常工作,并且也受其他适配器类型支持,那么它应该也能在该适配器类型下正常工作。

测试用例

上述所有用例均在 peft/tests/test_torch_compile.py 中进行了测试。如果您想更详细地了解某个特定功能的测试方式,请前往该文件并查看对应用例的测试。

如果您有其他使用场景,并且知道 torch.compile 与 PEFT 兼容或不兼容,请通过告知我们或提交 PR 将该场景添加到已覆盖的测试用例中来做出贡献。

Update on GitHub