Accelerate documentation

在 Mac 上加速 PyTorch 训练

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

在 Mac 上加速 PyTorch 训练

随着 PyTorch v1.12 的发布,开发者和研究人员可以利用 Apple 硅 GPU 实现显著更快的模型训练。 这使得人们能够在 Mac 上本地执行机器学习工作流,例如原型设计和微调。 Apple 的 Metal Performance Shaders (MPS) 作为 PyTorch 的后端实现了这一功能,并可通过新的 "mps" 设备使用。 这将把计算图和原语映射到 MPS 图框架以及 MPS 提供的调优内核上。 有关更多信息,请参阅官方文档 Introducing Accelerated PyTorch Training on Mac 和 MPS BACKEND。

使用 Apple Silicon 芯片进行训练和推理的优势

  1. 允许用户在本地训练更大的网络或更大的批次大小
  2. 由于统一内存架构,降低了数据检索延迟,并使 GPU 能够直接访问完整的内存存储。 因此,提升了端到端性能。
  3. 降低了与基于云的开发相关的成本,或减少了对额外本地 GPU 的需求。

先决条件:要安装支持 mps 的 torch,请遵循这篇优秀的 medium 文章 GPU-Acceleration Comes to PyTorch on M1 Macs。

开箱即用的工作原理

在启用 MPS 的 Apple Silicon GPU 的 MacOs 机器上,此功能默认启用。 若要禁用它,请在 accelerate launch 命令中传入 --cpu 标志,或在回答 accelerate config 问卷时选择相应的选项。

您可以直接运行以下脚本,在支持 MPS 的 Apple Silicon 机器上进行测试:

accelerate launch /examples/cv_example.py --data_dir images

需要注意的几个问题

  1. 分布式设置 gloo 和 nccl 无法与 mps 设备配合使用。 这意味着目前只能使用 mps 设备类型的单个 GPU。

最后,请记住,Accelerate 仅集成了 MPS 后端,因此如果您在使用 MPS 后端时遇到任何问题或疑问,请在 PyTorch GitHub 上提交 issue。

Update on GitHub