PyTorch 1.12发布，正式支持苹果M1芯片GPU加速，修复众多Bug

机器之心报道

PyTorch 1.12 正式发布，还没有更新的小伙伴可以更新了。

距离 PyTorch 1.11 推出没几个月，PyTorch 1.12 就来了！此版本由 1.11 版本以来的 3124 多次 commits 组成，由 433 位贡献者完成。1.12 版本进行了重大改进，并修复了很多 Bug。

随着新版本的发布，大家讨论最多的可能就是 PyTorch 1.12 支持苹果 M1 芯片。

其实早在今年 5 月，PyTorch 官方就已经宣布正式支持在 M1 版本的 Mac 上进行 GPU 加速的 PyTorch 机器学习模型训练。此前，Mac 上的 PyTorch 训练仅能利用 CPU，但随着 PyTorch 1.12 版本的发布，开发和研究人员可以利用苹果 GPU 大幅度加快模型训练。

在 Mac 上引入加速 PyTorch 训练

PyTorch GPU 训练加速是使用苹果 Metal Performance Shaders (MPS) 作为后端来实现的。MPS 后端扩展了 PyTorch 框架，提供了在 Mac 上设置和运行操作的脚本和功能。MPS 使用针对每个 Metal GPU 系列的独特特性进行微调的内核能力来优化计算性能。新设备将机器学习计算图和原语映射到 MPS Graph 框架和 MPS 提供的调整内核上。

每台搭载苹果自研芯片的 Mac 都有着统一的内存架构，让 GPU 可以直接访问完整的内存存储。PyTorch 官方表示，这使得 Mac 成为机器学习的绝佳平台，让用户能够在本地训练更大的网络或批大小。这降低了与基于云算力的开发相关的成本或对额外的本地 GPU 算力需求。统一内存架构还减少了数据检索延迟，提高了端到端性能。

可以看到，与 CPU 基线相比，GPU 加速实现了成倍的训练性能提升：

有了 GPU 的加持，训练和评估速度超过 CPU

上图是苹果于 2022 年 4 月使用配备 Apple M1 Ultra（20 核 CPU、64 核 GPU）128GB 内存，2TB SSD 的 Mac Studio 系统进行测试的结果。测试模型为 ResNet50（batch size = 128）、HuggingFace BERT（batch size = 64）和 VGG16（batch size = 64）。性能测试是使用特定的计算机系统进行的，反映了 Mac Studio 的大致性能。

PyTorch 1.12 其他新特性

前端 API：TorchArrow

PyTorch 官方已经发布了一个新的 Beta 版本供用户试用：TorchArrow。这是一个机器学习预处理库，可进行批量数据处理。它具有高性能，兼具 Pandas 风格，还具有易于使用的 API，以加快用户预处理工作流程和开发。

（Beta）PyTorch 中的 Complex32 和 Complex Convolutions

目前，PyTorch 原生支持复数、复数 autograd、复数模块和大量的复数运算（线性代数和快速傅里叶变换）。在包括 torchaudio 和 ESPNet 在内的许多库中，都已经使用了复数，并且 PyTorch 1.12 通过复数卷积和实验性 complex32 数据类型进一步扩展了复数功能，该数据类型支持半精度 FFT 操作。由于 CUDA 11.3 包中存在 bug，如果用户想要使用复数，官方建议使用 CUDA 11.6 包。

(Beta)Forward-mode 自动微分

Forward-mode AD 允许在前向传递中计算方向导数（或等效地雅可比向量积）。PyTorch 1.12 显着提高了 forward-mode AD 的覆盖范围。

BetterTransformer

PyTorch 现在支持多个 CPU 和 GPU fastpath 实现（BetterTransformer），也就是 Transformer 编码器模块，包括 TransformerEncoder、TransformerEncoderLayer 和 MultiHeadAttention (MHA) 的实现。在新的版本中，BetterTransformer 在许多常见场景中速度快 2 倍，这还要取决于模型和输入特征。新版本 API 支持与先前的 PyTorch Transformer API 兼容，如果现有模型满足 fastpath 执行要求，它们将加速现有模型，以及读取使用先前版本 PyTorch 训练的模型。

此外，新版本还有一些更新：

• 模块：模块计算的一个新 beta 特性是功能性 API。这个新的 functional_call API 让用户可以完全控制模块计算中使用的参数；

• TorchData：DataPipe 改进了与 DataLoader 的兼容性。PyTorch 现在支持基于 AWSSDK 的 DataPipes。DataLoader2 已被引入作为管理 DataPipes 与其他 API 和后端之间交互的一种方式；

• nvFuser: nvFuser 是新的、更快的默认 fuser，用于编译到 CUDA 设备；

• 矩阵乘法精度：默认情况下，float32 数据类型上的矩阵乘法现在将在全精度模式下工作，这种模式速度较慢，但会产生更一致的结果；

• Bfloat16：为不太精确的数据类型提供了更快的计算时间，因此在 1.12 中对 Bfloat16 数据类型进行了新的改进；

• FSDP API：作为原型在 1.11 版中发布，FSDP API 在 1.12 版的发布中达到了测试版，并添加了一些改进。

https://pytorch.org/blog/pytorch-1.12-released/