DeepSpeed安装和使用教程
本文翻译了 getting started 和 installation details 和 cifar-10 tutorial 三个教程，可以让新手安装和简单使用上 deepspeed 来做模型训练。
0x0. 前言
这个系列是对deepspeed的教程做一下翻译工作，在deepspeed的tutorials中提供了34个tutorials。这些tutorials不仅包含配置deepspeed完成分布式训练的标准流程，还包含一些deepspeed支持的一些feature比如低比特优化器，zero等等。最近有使用deepspeed做一些简单的模型训练实验的需求，所以开一下这个专题，尽量翻译完deepspeed的大多数tutorials，不定期更新。这篇首先翻译一下getting started 和 installation details，cifar-10 tutorial 这三个tutorials。基于 pytorch 2.0 版本运行 cifar-10 tutorial 中碰到一些报错也给出了解决的方法。
0x1. getting started
安装
安装deepspeed非常简单，只需运行以下命令：pip install deepspeed。有关更多详细信息，请参阅官方文档，也就是稍后会翻译的文档。
要在azureml上开始使用deepspeed，请参阅azureml examples github。这里的链接404了。
deepspeed与huggingface transformers和pytorch lightning进行了直接集成。huggingface transformers用户现在可以通过简单的--deepspeed标志和配置文件轻松加速他们的模型。有关更多详细信息，请参见官方文档。pytorch lightning通过lightning trainer提供了对deepspeed的易于访问。有关更多详细信息，请参见官方文档。
deepspeed在amd上可通过我们的rocm镜像使用，例如docker pull deepspeed/rocm501:ds060_pytorch110。
编写deepspeed模型
使用deepspeed引擎进行模型训练。引擎可以包装任何类型为torch.nn.module的模型，并具有一组最小的api来训练和保存模型检查点。请参见教程以获取详细示例。
要初始化deepspeed引擎：
model_engine, optimizer, _, _ = deepspeed.initialize(args=cmd_args, model=model, model_parameters=params)
deepspeed.initialize确保在底层适当地完成了所需的分布式数据并行或混合精度训练所需的所有设置。除了包装模型外，deepspeed还可以基于传递给deepspeed.initialize和deepspeed配置文件(https://www.deepspeed.ai/getting-started/#deepspeed-configuration)的参数构建和管理训练优化器、数据加载器和学习率调度器。请注意，deepspeed会在每个训练步骤自动执行学习率调度。
如果你已经设置了分布式环境，则需要进行以下替换：
torch.distributed.init_process_group(...)
替换为：
deepspeed.init_distributed()
默认情况下，deepspeed使用已经经过充分测试的nccl后端，但您也可以覆盖默认设置（https://deepspeed.readthedocs.io/en/latest/initialize.html#distributed-initialization）。但是，如果直到deepspeed.initialize()之后才需要设置分布式环境，则无需使用此函数，因为deepspeed将在其初始化期间自动初始化分布式环境。无论如何，你都需要删除torch.distributed.init_process_group。
训练
一旦deepspeed引擎被初始化，就可以使用三个简单的api来进行前向传播（callable object）、反向传播（backward）和权重更新（step）来训练模型。
for step, batch in enumerate(data_loader): #forward() method loss = model_engine(batch) #runs backpropagation model_engine.backward(loss) #weight update model_engine.step()
gradient averaging: 在分布式数据并行训练中，backward 确保在对一个 train_batch_size 进行训练后，梯度在数据并行进程间进行平均。
loss scaling: 在fp16/混合精度训练中, deepspeed 引擎会自动处理缩放损失,以避免梯度中的精度损失。
learning rate scheduler: 当使用 deepspeed 的学习率调度器(在ds_config.json文件中指定)时, deepspeed 会在每次训练步骤(执行model_engine.step()时)调用调度器的step()方法。当不使用deepspeed的学习率调度器时:
如果调度期望在每次训练步骤都执行, 那么用户可以在初始化 deepspeed 引擎时将调度器传递给 deepspeed.initialize, 让 deepspeed 进行管理、更新或保存/恢复。
如果调度应该在任何其它间隔（例如训练周期）执行，则用户在初始化期间不应将调度传递给 deepspeed，必须显式地管理它。
模型检查点
使用 deepspeed 中的 save_checkpoint 和 load_checkpoint api 处理训练状态的保存和加载，需要提供两个参数来唯一识别一个检查点：
ckpt_dir: 检查点将保存到此目录。
ckpt_id：在目录中唯一标识检查点的标识符。在下面的代码片段中，我们使用损失值作为检查点标识符。
#load checkpoint_, client_sd = model_engine.load_checkpoint(args.load_dir, args.ckpt_id)step = client_sd['step']#advance data loader to ckpt stepdataloader_to_step(data_loader, step + 1)for step, batch in enumerate(data_loader): #forward() method loss = model_engine(batch) #runs backpropagation model_engine.backward(loss) #weight update model_engine.step() #save checkpoint if step % args.save_interval: client_sd['step'] = step ckpt_id = loss.item() model_engine.save_checkpoint(args.save_dir, ckpt_id, client_sd = client_sd)
deepspeed 可以自动保存和恢复模型、优化器和学习率调度器的状态，同时隐藏这些细节，使用户无需关心。然而，用户可能希望保存与给定模型训练相关的其他数据。为了支持这些项目，save_checkpoint 接受一个客户端状态字典 client_sd 用于保存。这些元素可以作为返回参数从 load_checkpoint 中检索。在上面的示例中，步骤值 (step) 被存储为 client_sd 的一部分。
重要提示：所有进程都必须调用此方法，而不仅仅是rank 0的进程。这是因为每个进程都需要保存其主节点权重和调度器+优化器状态。如果仅为rank 0的进程调用此方法，它将挂起等待与其它进程同步。
deepspeed 配置
可以使用一个配置 json 文件来启用、禁用或配置 deepspeed 功能，该文件应该作为 args.deepspeed_config 指定。下面是一个示例配置文件。有关完整功能集，请参见 api 文档(https://www.deepspeed.ai/docs/config-json/) 。
{ train_batch_size: 8, gradient_accumulation_steps: 1, optimizer: { type: adam, params: { lr: 0.00015 } }, fp16: { enabled: true }, zero_optimization: true}
加载 deepspeed 训练
deepspeed 安装了入口点 deepspeed 以启动分布式训练。我们通过以下假设来说明 deepspeed 的一个示例用法：
你已将 deepspeed 集成到你的模型中了。
client_entry.py 是你的模型入口脚本。
client args 是 argparse 命令行参数。
ds_config.json 是 deepspeed 的配置参数。
资源配置
deepspeed 使用与 openmpi 和 horovod 兼容的 hostfile 配置多节点计算资源。hostfile 是一个主机名（或 ssh 别名）列表，这些机器可以通过无密码 ssh 访问，并且还包括 slot counts，用于指定系统上可用的 gpu 数量。例如：
worker-1 slots=4worker-2 slots=4
上述示例指定了两个名为 worker-1 和 worker-2 的机器，每台机器都有四个 gpu 用于训练。
可以使用 --hostfile 命令行选项指定 hostfile。如果没有指定 hostfile，则 deepspeed 会搜索 /job/hostfile 。如果没有指定或找到 hostfile，则 deepspeed 查询本地计算机上的 gpu 数量，以发现可用的本地 slot 数量。
下面的命令在 myhostfile 中指定的所有可用节点和 gpu 上启动 pytorch 训练工作：
deepspeed --hostfile=myhostfile --deepspeed --deepspeed_config ds_config.json
另外，deepspeed 允许您将模型的分布式训练限制在可用节点和 gpu 的子集上。此功能通过两个命令行参数启用：--num_nodes 和 --num_gpus。例如，可以使用以下命令将分布式训练限制为仅使用两个节点：
deepspeed --num_nodes=2 --deepspeed --deepspeed_config ds_config.json
您也可以使用 --include 和 --exclude 标志来包含或排除特定的资源。例如，要使用除节点 worker-2 上的 gpu 0 和节点 worker-3 上的 gpu 0 和 1 之外的所有可用资源：
deepspeed --exclude=worker-2:0@worker-3:0,1 --deepspeed --deepspeed_config ds_config.json
类似地，可以仅在 worker-2 上使用 gpu 0 和 1：
deepspeed --include=worker-2:0,1 --deepspeed --deepspeed_config ds_config.json
多节点环境变量
当在多个节点上进行训练时，我们发现支持传播用户定义的环境变量非常有用。默认情况下，deepspeed 将传播所有设置的 nccl 和 python 相关环境变量。如果您想传播其它变量，可以在名为 .deepspeed_env 的文件中指定它们，该文件包含一个行分隔的 var=val 条目列表。deepspeed 启动器将查找你执行的本地路径以及你的主目录（~/）。
以一个具体的例子来说明，有些集群需要在训练之前设置特殊的 nccl 变量。用户可以简单地将这些变量添加到其主目录中的 .deepspeed_env 文件中，该文件如下所示：
nccl_ib_disable=1nccl_socket_ifname=eth0
deepspeed 然后会确保在启动每个进程时在整个训练工作的每个节点上设置这些环境变量。
mpi 和 azureml 兼容性
如上所述，deepspeed 提供了自己的并行启动器来帮助启动多节点/多gpu训练作业。如果您喜欢使用mpi（例如 mpirun）启动训练作业，则我们提供对此的支持。需要注意的是，deepspeed 仍将使用 torch 分布式 nccl 后端，而不是 mpi 后端。
要使用 mpirun + deepspeed 或 azureml（使用 mpirun 作为启动器后端）启动你的训练作业，您只需要安装 mpi4py python 包。deepspeed 将使用它来发现 mpi 环境，并将必要的状态（例如 world size、rank 等）传递给 torch 分布式后端。
如果你正在使用模型并行，pipline 并行或者在调用 deepspeed.initialize(..) 之前需要使用 torch.distributed 调用，我们为你提供了额外的 deepspeed api 调用以支持相同的 mpi。请将您的初始 torch.distributed.init_process_group(..) 调用替换为：
deepspeed.init_distributed()
资源配置（单节点）
如果我们只在单个节点上运行（具有一个或多个gpu），deepspeed不需要像上面描述的那样使用 hostfile。如果没有检测到或传递 hostfile，则 deepspeed 将查询本地计算机上的 gpu 数量来发现可用的插槽数。--include 和 --exclude 参数与正常工作相同，但用户应将“localhost”指定为主机名。
另外需要注意的是，cuda_visible_devices 不能用于 deepspeed 来控制应该使用哪些设备。例如，要仅使用当前节点的 gpu1，请执行以下操作：
deepspeed --include localhost:1 ...
0x2. installation details
对应原文：https://www.deepspeed.ai/tutorials/advanced-install/
安装细节
通过 pip 是最快捷的开始使用 deepspeed 的方式，这将安装最新版本的 deepspeed，不会与特定的 pytorch 或 cuda 版本绑定。deepspeed 包含若干个 c++/cuda 扩展，我们通常称之为“ops”。默认情况下，所有这些 extensions/ops 将使用 torch 的 jit c++ 扩展加载器即时构建（jit）(https://pytorch.org/docs/stable/cpp_extension.html) ，该加载器依赖 ninja 在运行时进行动态链接。
pip install deepspeed
安装完成后，你可以使用 ds_report 或 python -m deepspeed.env_report 命令查看 deepspeed 环境报告，以验证你的安装并查看你的机器与哪些 ops 兼容。我们发现，在调试 deepspeed 安装或兼容性问题时，这个报告很有用。
ds_report
预安装deepspeed的ops
注意：在预编译任何 deepspeed 的 c++/cuda ops 之前，必须先安装 pytorch。但是，如果使用 ops 的默认 jit 编译模式，则不需要预编译安装。
有时我们发现，将一些或全部 deepspeed c++/cuda ops 预先安装而不使用 jit 编译路径是有用的。为了支持预安装，我们引入了构建环境标志以打开/关闭特定 ops 的构建。
您可以通过设置 ds_build_ops 环境变量为 1 来指示我们的安装程序（install.sh 或 pip install）尝试安装所有 ops，例如：
ds_build_ops=1 pip install deepspeed
deepspeed 只会安装与你的机器兼容的 ops。有关系统兼容性的更多详细信息，请尝试上面描述的 ds_report 工具。
如果你只想安装特定的 op（例如 fusedlamb），你可以在安装时使用 ds_build 环境变量进行切换。例如，要仅安装带有 fusedlamb op 的 deepspeed，请使用：
ds_build_fused_lamb=1 pip install deepspeed
可用的 ds_build 选项包含：
ds_build_ops 切换所有 ops
ds_build_cpu_adam 构建 cpuadam op
ds_build_fused_adam 构建 fusedadam op (from apex)
ds_build_fused_lamb 构建 fusedlamb op
ds_build_sparse_attn 构建 sparse attention op
ds_build_transformer 构建 transformer op
ds_build_transformer_inference 构建 transformer-inference op
ds_build_stochastic_transformer 构建 stochastic transformer op
ds_build_utils 构建各种优化工具
ds_build_aio 构建异步 (nvme) i/o op
为了加速 build-all 过程，您可以使用以下方式并行编译：
ds_build_ops=1 pip install deepspeed --global-option=build_ext --global-option=-j8
这应该可以使完整构建过程加快 2-3 倍。您可以调整 -j 来指定在构建过程中使用多少个 cpu 核心。在此示例中，它设置为 8 个核心。
你还可以构建二进制 whell，并在具有相同类型的 gpu 和相同软件环境（cuda 工具包、pytorch、python 等）的多台机器上安装它。
ds_build_ops=1 python setup.py build_ext -j8 bdist_wheel
这将在 dist 目录下创建一个 pypi 二进制轮，例如 dist/deepspeed-0.3.13+8cd046f-cp38-cp38-linux_x86_64.whl，然后你可以直接在多台机器上安装它，在我们的示例中：
pip install dist/deepspeed-0.3.13+8cd046f-cp38-cp38-linux_x86_64.whl
源码安装 deepspeed
在从 github 克隆 deepspeed 仓库后，您可以通过 pip 在 jit 模式下安装 deepspeed（见下文）。由于不编译任何 c++/cuda 源文件，此安装过程应该很快完成。
pip install .
对于跨多个节点的安装，我们发现使用 github 仓库中的 install.sh (https://github.com/microsoft/deepspeed/blob/master/install.sh) 脚本安装 deepspeed 很有用。这将在本地构建一个 python whell，并将其复制到你的主机文件（通过 --hostfile 给出，或默认为 /job/hostfile）中列出的所有节点上。
当使用 deepspeed 的代码首次运行时，它将自动构建仅运行所需的 cuda 扩展，并默认将它们放置在 ~/.cache/torch_extensions/ 目录下。下一次执行相同的程序时，这些已预编译的扩展将从该目录加载。
如果你使用多个虚拟环境，则可能会出现问题，因为默认情况下只有一个 torch_extensions 目录，但不同的虚拟环境可能使用不同的设置（例如，不同的 python 或 cuda 版本），然后加载另一个环境构建的 cuda 扩展将失败。因此，如果需要，你可以使用 torch_extensions_dir 环境变量覆盖默认位置。因此，在每个虚拟环境中，你可以将其指向一个唯一的目录，并且 deepspeed 将使用它来保存和加载 cuda 扩展。
你还可以在特定运行中更改它，使用：
torch_extensions_dir=./torch-extensions deepspeed ...
选择正确的架构进行构建
如果你在运行 deepspeed 时遇到以下错误：
runtimeerror: cuda error: no kernel image is available for execution on the device
这意味着 cuda 扩展没有为你尝试使用的卡构建。
从源代码构建 deepspeed 时，deepspeed 将尝试支持各种架构，但在 jit 模式下，它只支持在构建时可见的架构。
你可以通过设置 torch_cuda_arch_list 环境变量来专门为所需的一系列架构构建：
torch_cuda_arch_list=6.1;7.5;8.6 pip install ...
当你为更少的架构构建时，这也会使构建更快。
这也是为了确保使用你的确切架构而建议的。由于各种技术原因，分布式的 pytorch 二进制文件没有完全支持所有架构，跳过兼容的二进制文件可能会导致未充分利用你的完整卡的计算能力。要查看 deepspeed 来源构建中包含哪些架构 - 保存日志并搜索 -gencode 参数。
完整的 nvidia gpu 列表及其计算能力可以在这里 (https://developer.nvidia.com/cuda-gpus) 找到。
cuda 版本不匹配
如果在运行时碰到以下错误：
exception: >- deepspeed op builder: installed cuda version {version} does not match the version torch was compiled with {version}, unable to compile cuda/cpp extensions without a matching cuda version.
你安装的 cuda 版本与用于编译 torch 的 cuda 版本不匹配。我们仅需要主版本匹配（例如，11.1 和 11.8 是可以的）。但是，主版本不匹配可能会导致意外的行为和错误。
解决此错误的最简单方法是更改已安装的 cuda 版本（使用 nvcc --version 检查）或更新 torch 版本以匹配已安装的 cuda 版本（使用 python3 -c import torch; print(torch.version) 检查）。
如果你想跳过此检查并继续使用不匹配的 cuda 版本，请使用以下环境变量：
ds_skip_cuda_check=1
针对特定功能的依赖项
一些 deepspeed 功能需要 deepspeed 的一般依赖项之外的特定依赖项。
有关每个功能/op 的 python 包依赖项，请参阅我们的 requirements 目录（https://github.com/microsoft/deepspeed/tree/master/requirements）。
我们尽力将系统级依赖项最小化，但某些功能需要特殊的系统级软件包。请查看我们的 ds_report 工具输出，以查看您是否缺少给定功能的系统级软件包。
0x3. cifar-10 tutorial
如果你还没有阅读入门指南，我们建议你先阅读入门指南（就是上面2节），然后再按照本教程逐步操作。
在本教程中，我们将向 cifar-10 模型中添加 deepspeed，这是一个小型图像分类模型。
首先，我们将介绍如何运行原始的 cifar-10 模型。然后，我们将逐步启用此模型以在 deepspeed 中运行。
运行原始的 cifar-10
cifar-10 教程的原始模型代码见（https://github.com/pytorch/tutorials/blob/main/beginner_source/blitz/cifar10_tutorial.py）。我们已将其复制到 deepspeedexamples/training/cifar/ （https://github.com/microsoft/deepspeedexamples/tree/master/training/cifar）下，并作为子模块提供。要下载，请执行：
git clone git@github.com:microsoft/deepspeedexamples.git
安装 cifar-10 模型的 requirements：
cd deepspeedexamples/training/cifarpip install -r requirements.txt
运行 python cifar10_tutorial.py，它会在第一次运行时下载训练数据集。
downloading https://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz to ./data/cifar-10-python.tar.gz170500096it [00:02, 61124868.24it/s]extracting ./data/cifar-10-python.tar.gz to ./datafiles already downloaded and verified cat frog frog frog[1, 2000] loss: 2.170[1, 4000] loss: 1.879[1, 6000] loss: 1.690[1, 8000] loss: 1.591[1, 10000] loss: 1.545[1, 12000] loss: 1.467[2, 2000] loss: 1.377[2, 4000] loss: 1.374[2, 6000] loss: 1.363[2, 8000] loss: 1.322[2, 10000] loss: 1.295[2, 12000] loss: 1.287finished traininggroundtruth: cat ship ship planepredicted: cat ship plane planeaccuracy of the network on the 10000 test images: 53 %accuracy of plane : 69 %accuracy of car : 59 %accuracy of bird : 56 %accuracy of cat : 36 %accuracy of deer : 37 %accuracy of dog : 26 %accuracy of frog : 70 %accuracy of horse : 61 %accuracy of ship : 51 %accuracy of truck : 63 %cuda:0
我这里本地使用torch 2.0版本，运行这个脚本会报错。attributeerror: '_multiprocessingdataloaderiter' object has no attribute 'next' 。这个错误通常发生在使用 pytorch 1.7 及更高版本时，因为在这些版本中，.next() 方法被弃用了，并被 .__next__() 方法取代了。因此，你可以把代码中的2处 .next() 替换成 .next()来解决这个错误。
使能 deepspeed
参数解析
使能 deepspeed 的第一步是向 cifar-10 模型添加 deepspeed 参数，可以使用以下方式的 deepspeed.add_config_arguments() 函数：
import argparse import deepspeed def add_argument(): parser=argparse.argumentparser(description='cifar') # data. # cuda. parser.add_argument('--with_cuda', default=false, action='store_true', help='use cpu in case there's no gpu support') parser.add_argument('--use_ema', default=false, action='store_true', help='whether use exponential moving average') # train. parser.add_argument('-b', '--batch_size', default=32, type=int, help='mini-batch size (default: 32)') parser.add_argument('-e', '--epochs', default=30, type=int, help='number of total epochs (default: 30)') parser.add_argument('--local_rank', type=int, default=-1, help='local rank passed from distributed launcher') # include deepspeed configuration arguments. parser = deepspeed.add_config_arguments(parser) args=parser.parse_args() return args
初始化
我们使用 deepspeed.initialize 创建 model_engine、optimizer 和 trainloader，deepspeed.initialize 的定义如下：
def initialize(args, model, optimizer=none, model_params=none, training_data=none, lr_scheduler=none, mpu=none, dist_init_required=true, collate_fn=none):
在这里，我们使用 cifar-10 模型（net）、args、parameters 和 trainset 初始化 deepspeed：
parameters = filter(lambda p: p.requires_grad, net.parameters()) args=add_argument() # initialize deepspeed to use the following features # 1) distributed model. # 2) distributed data loader. # 3) deepspeed optimizer. model_engine, optimizer, trainloader, _ = deepspeed.initialize(args=args, model=net, model_parameters=parameters, training_data=trainset)
初始化 deepspeed 后，原始 device 和 optimizer 会被删除：
#from deepspeed.accelerator import get_accelerator#device = torch.device(get_accelerator().device_name(0) if get_accelerator().is_available() else cpu)#net.to(device)#optimizer = optim.sgd(net.parameters(), lr=0.001, momentum=0.9)
训练api
deepspeed.initialize 返回的模型是 deepspeed 模型引擎，我们将使用它来使用 forward、backward 和 step api 训练模型。
for i, data in enumerate(trainloader): # get the inputs; data is a list of [inputs, labels]. inputs = data[0].to(model_engine.device) labels = data[1].to(model_engine.device) outputs = model_engine(inputs) loss = criterion(outputs, labels) model_engine.backward(loss) model_engine.step()
在使用 mini-batch 更新权重之后，deepspeed 会自动处理梯度清零。
配置
使用 deepspeed 的下一步是创建一个配置 json 文件 (ds_config.json)。该文件提供由用户定义的 deepspeed 特定参数，例如批2⃣大小、优化器、调度器和其他参数。
{ train_batch_size: 4, steps_per_print: 2000, optimizer: { type: adam, params: { lr: 0.001, betas: [ 0.8, 0.999 ], eps: 1e-8, weight_decay: 3e-7 } }, scheduler: { type: warmuplr, params: { warmup_min_lr: 0, warmup_max_lr: 0.001, warmup_num_steps: 1000 } }, wall_clock_breakdown: false }
运行启用 deepspeed 的 cifar-10 模型
要使用 deepspeed 开始训练已应用 deepspeed 的 cifar-10 模型，请执行以下命令，默认情况下它将使用所有检测到的 gpu。
deepspeed cifar10_deepspeed.py --deepspeed_config ds_config.json
deepspeed 通常会打印更多的训练细节供用户监视，包括训练设置、性能统计和损失趋势。
deepspeed.pt cifar10_deepspeed.py --deepspeed_config ds_config.jsonwarning: permanently added '[192.168.0.22]:42227' (ecdsa) to the list of known hosts.cmd=['pdsh', '-w', 'worker-0', 'export nccl_version=2.4.2; ', 'cd /data/users/deepscale/test/ds_v2/examples/cifar;', '/usr/bin/python', '-u', '-m', 'deepspeed.pt.deepspeed_launch', '--world_info=eyj3b3jrzxitmci6ifswxx0=', '--node_rank=%n', '--master_addr=192.168.0.22', '--master_port=29500', 'cifar10_deepspeed.py', '--deepspeed', '--deepspeed_config', 'ds_config.json']worker-0: warning: permanently added '[192.168.0.22]:42227' (ecdsa) to the list of known hosts.worker-0: 0 nccl_version 2.4.2worker-0: world info dict: {'worker-0': [0]}worker-0: nnodes=1, num_local_procs=1, node_rank=0worker-0: global_rank_mapping=defaultdict(, {'worker-0': [0]})worker-0: dist_world_size=1worker-0: setting cuda_visible_devices=0worker-0: files already downloaded and verifiedworker-0: files already downloaded and verifiedworker-0: bird car horse shipworker-0: deepspeed info: version=2.1, git-hash=fa937e7, git-branch=masterworker-0: [info 2020-02-06 1949] set device to local rank 0 within node.worker-0: 1 1worker-0: [info 2020-02-06 1956] using deepspeed optimizer param name adam as basic optimizerworker-0: [info 2020-02-06 1956] deepspeed basic optimizer = fusedadam (worker-0: parameter group 0worker-0: betas: [0.8, 0.999]worker-0: bias_correction: trueworker-0: eps: 1e-08worker-0: lr: 0.001worker-0: max_grad_norm: 0.0worker-0: weight_decay: 3e-07worker-0: )worker-0: [info 2020-02-06 1956] deepspeed using configured lr scheduler = warmuplrworker-0: [info 2020-02-06 1956] deepspeed lr scheduler = worker-0: [info 2020-02-06 1956] rank:0 step=0, skipped=0, lr=[0.001], mom=[[0.8, 0.999]]worker-0: deepspeedlight configuration:worker-0: allgather_size ............... 500000000worker-0: allreduce_always_fp32 ........ falseworker-0: disable_allgather ............ falseworker-0: dump_state ................... falseworker-0: dynamic_loss_scale_args ...... noneworker-0: fp16_enabled ................. falseworker-0: global_rank .................. 0worker-0: gradient_accumulation_steps .. 1worker-0: gradient_clipping ............ 0.0worker-0: initial_dynamic_scale ........ 4294967296worker-0: loss_scale ................... 0worker-0: optimizer_name ............... adamworker-0: optimizer_params ............. {'lr': 0.001, 'betas': [0.8, 0.999], 'eps': 1e-08, 'weight_decay': 3e-07}worker-0: prescale_gradients ........... falseworker-0: scheduler_name ............... warmuplrworker-0: scheduler_params ............. {'warmup_min_lr': 0, 'warmup_max_lr': 0.001, 'warmup_num_steps': 1000}worker-0: sparse_gradients_enabled ..... falseworker-0: steps_per_print .............. 2000worker-0: tensorboard_enabled .......... falseworker-0: tensorboard_job_name ......... deepspeedjobnameworker-0: tensorboard_output_path ......worker-0: train_batch_size ............. 4worker-0: train_micro_batch_size_per_gpu 4worker-0: wall_clock_breakdown ......... falseworker-0: world_size ................... 1worker-0: zero_enabled ................. falseworker-0: json = {worker-0: optimizer:{worker-0: params:{worker-0: betas:[worker-0: 0.8,worker-0: 0.999worker-0: ],worker-0: eps:1e-08,worker-0: lr:0.001,worker-0: weight_decay:3e-07worker-0: },worker-0: type:adamworker-0: },worker-0: scheduler:{worker-0: params:{worker-0: warmup_max_lr:0.001,worker-0: warmup_min_lr:0,worker-0: warmup_num_steps:1000worker-0: },worker-0: type:warmuplrworker-0: },worker-0: steps_per_print:2000,worker-0: train_batch_size:4,worker-0: wall_clock_breakdown:falseworker-0: }worker-0: [info 2020-02-06 1956] 0/50, samplespersec=1292.6411179579866worker-0: [info 2020-02-06 1956] 0/100, samplespersec=1303.6726433398537worker-0: [info 2020-02-06 1956] 0/150, samplespersec=1304.4251022567403......worker-0: [2, 12000] loss: 1.247worker-0: [info 2020-02-06 2023] 0/24550, samplespersec=1284.4954513975558worker-0: [info 2020-02-06 2023] 0/24600, samplespersec=1284.384033658866worker-0: [info 2020-02-06 2023] 0/24650, samplespersec=1284.4433482972925worker-0: [info 2020-02-06 2023] 0/24700, samplespersec=1284.4664449792422worker-0: [info 2020-02-06 2023] 0/24750, samplespersec=1284.4950124403447worker-0: [info 2020-02-06 2023] 0/24800, samplespersec=1284.4756105952233worker-0: [info 2020-02-06 2024] 0/24850, samplespersec=1284.5251526215386worker-0: [info 2020-02-06 2024] 0/24900, samplespersec=1284.531217073863worker-0: [info 2020-02-06 2024] 0/24950, samplespersec=1284.5125323220368worker-0: [info 2020-02-06 2024] 0/25000, samplespersec=1284.5698818883018worker-0: finished trainingworker-0: groundtruth: cat ship ship planeworker-0: predicted: cat car car planeworker-0: accuracy of the network on the 10000 test images: 57 %worker-0: accuracy of plane : 61 %worker-0: accuracy of car : 74 %worker-0: accuracy of bird : 49 %worker-0: accuracy of cat : 36 %worker-0: accuracy of deer : 44 %worker-0: accuracy of dog : 52 %worker-0: accuracy of frog : 67 %worker-0: accuracy of horse : 58 %worker-0: accuracy of ship : 70 %worker-0: accuracy of truck : 59 %
补充：你可以使用 --include localhost:1 类似的命令在单卡上运行模型。此外，--num_gpus可以指定使用多少张gpu来运行。
0x4. 总结
本文翻译了 getting started 和 installation details 和 cifar-10 tutorial 三个教程，可以让新手安装和简单使用上 deepspeed 来做模型训练。
VLAN的基础知识总结
特斯拉欧洲工厂产能过剩问题 未来能否解决还未可知
CAN接120欧姆终端电阻的原因分析
苹果推出的两款Mac新品轻松超越最高配的MacBook Pro
2017亚洲VRAR全球商贸平台
DeepSpeed安装和使用教程
!!现货AgilentE3644A单路输出电源Agilent
高通推出Snapdragon Ride视觉系统_瑞萨电子推出低功耗产品线进入FPGA市场
美国国家半导体推出LMK04800系列时钟抖动滤除器
薄膜电容分正负极吗
两款高低温双限控制器电路图详解
运放中容性负载该怎么处理？
OPPO Find9最新渲染图曝光，仅屏占比就虐哭三星S8！
在新基建的背景下，人工智能产业将迎来怎样的市场机遇？
医用超声波清洗机的适用范围
ATF中bl31的启动
led灯泡规格
采用高时钟频率的FPGA实现高速运动物体测速系统的设计
产学研交流—哈工大田艳红教授一行到访翠展微
南京智慧路灯机器人上岗，闯红灯会发出告警
0x0. 前言
这个系列是对deepspeed的教程做一下翻译工作，在deepspeed的tutorials中提供了34个tutorials。这些tutorials不仅包含配置deepspeed完成分布式训练的标准流程，还包含一些deepspeed支持的一些feature比如低比特优化器，zero等等。最近有使用deepspeed做一些简单的模型训练实验的需求，所以开一下这个专题，尽量翻译完deepspeed的大多数tutorials，不定期更新。这篇首先翻译一下getting started 和 installation details，cifar-10 tutorial 这三个tutorials。基于 pytorch 2.0 版本运行 cifar-10 tutorial 中碰到一些报错也给出了解决的方法。
0x1. getting started
安装
安装deepspeed非常简单，只需运行以下命令：pip install deepspeed。有关更多详细信息，请参阅官方文档，也就是稍后会翻译的文档。
要在azureml上开始使用deepspeed，请参阅azureml examples github。这里的链接404了。
deepspeed与huggingface transformers和pytorch lightning进行了直接集成。huggingface transformers用户现在可以通过简单的--deepspeed标志和配置文件轻松加速他们的模型。有关更多详细信息，请参见官方文档。pytorch lightning通过lightning trainer提供了对deepspeed的易于访问。有关更多详细信息，请参见官方文档。
deepspeed在amd上可通过我们的rocm镜像使用，例如docker pull deepspeed/rocm501:ds060_pytorch110。
编写deepspeed模型
使用deepspeed引擎进行模型训练。引擎可以包装任何类型为torch.nn.module的模型，并具有一组最小的api来训练和保存模型检查点。请参见教程以获取详细示例。
要初始化deepspeed引擎：
model_engine, optimizer, _, _ = deepspeed.initialize(args=cmd_args, model=model, model_parameters=params)
deepspeed.initialize确保在底层适当地完成了所需的分布式数据并行或混合精度训练所需的所有设置。除了包装模型外，deepspeed还可以基于传递给deepspeed.initialize和deepspeed配置文件(https://www.deepspeed.ai/getting-started/#deepspeed-configuration)的参数构建和管理训练优化器、数据加载器和学习率调度器。请注意，deepspeed会在每个训练步骤自动执行学习率调度。
如果你已经设置了分布式环境，则需要进行以下替换：
torch.distributed.init_process_group(...)
替换为：
deepspeed.init_distributed()
默认情况下，deepspeed使用已经经过充分测试的nccl后端，但您也可以覆盖默认设置（https://deepspeed.readthedocs.io/en/latest/initialize.html#distributed-initialization）。但是，如果直到deepspeed.initialize()之后才需要设置分布式环境，则无需使用此函数，因为deepspeed将在其初始化期间自动初始化分布式环境。无论如何，你都需要删除torch.distributed.init_process_group。
训练
一旦deepspeed引擎被初始化，就可以使用三个简单的api来进行前向传播（callable object）、反向传播（backward）和权重更新（step）来训练模型。
for step, batch in enumerate(data_loader): #forward() method loss = model_engine(batch) #runs backpropagation model_engine.backward(loss) #weight update model_engine.step()
gradient averaging: 在分布式数据并行训练中，backward 确保在对一个 train_batch_size 进行训练后，梯度在数据并行进程间进行平均。
loss scaling: 在fp16/混合精度训练中, deepspeed 引擎会自动处理缩放损失,以避免梯度中的精度损失。
learning rate scheduler: 当使用 deepspeed 的学习率调度器(在ds_config.json文件中指定)时, deepspeed 会在每次训练步骤(执行model_engine.step()时)调用调度器的step()方法。当不使用deepspeed的学习率调度器时:
如果调度期望在每次训练步骤都执行, 那么用户可以在初始化 deepspeed 引擎时将调度器传递给 deepspeed.initialize, 让 deepspeed 进行管理、更新或保存/恢复。
如果调度应该在任何其它间隔（例如训练周期）执行，则用户在初始化期间不应将调度传递给 deepspeed，必须显式地管理它。
模型检查点
使用 deepspeed 中的 save_checkpoint 和 load_checkpoint api 处理训练状态的保存和加载，需要提供两个参数来唯一识别一个检查点：
ckpt_dir: 检查点将保存到此目录。
ckpt_id：在目录中唯一标识检查点的标识符。在下面的代码片段中，我们使用损失值作为检查点标识符。
#load checkpoint_, client_sd = model_engine.load_checkpoint(args.load_dir, args.ckpt_id)step = client_sd['step']#advance data loader to ckpt stepdataloader_to_step(data_loader, step + 1)for step, batch in enumerate(data_loader): #forward() method loss = model_engine(batch) #runs backpropagation model_engine.backward(loss) #weight update model_engine.step() #save checkpoint if step % args.save_interval: client_sd['step'] = step ckpt_id = loss.item() model_engine.save_checkpoint(args.save_dir, ckpt_id, client_sd = client_sd)
deepspeed 可以自动保存和恢复模型、优化器和学习率调度器的状态，同时隐藏这些细节，使用户无需关心。然而，用户可能希望保存与给定模型训练相关的其他数据。为了支持这些项目，save_checkpoint 接受一个客户端状态字典 client_sd 用于保存。这些元素可以作为返回参数从 load_checkpoint 中检索。在上面的示例中，步骤值 (step) 被存储为 client_sd 的一部分。
重要提示：所有进程都必须调用此方法，而不仅仅是rank 0的进程。这是因为每个进程都需要保存其主节点权重和调度器+优化器状态。如果仅为rank 0的进程调用此方法，它将挂起等待与其它进程同步。
deepspeed 配置
可以使用一个配置 json 文件来启用、禁用或配置 deepspeed 功能，该文件应该作为 args.deepspeed_config 指定。下面是一个示例配置文件。有关完整功能集，请参见 api 文档(https://www.deepspeed.ai/docs/config-json/) 。
{ train_batch_size: 8, gradient_accumulation_steps: 1, optimizer: { type: adam, params: { lr: 0.00015 } }, fp16: { enabled: true }, zero_optimization: true}
加载 deepspeed 训练
deepspeed 安装了入口点 deepspeed 以启动分布式训练。我们通过以下假设来说明 deepspeed 的一个示例用法：
你已将 deepspeed 集成到你的模型中了。
client_entry.py 是你的模型入口脚本。
client args 是 argparse 命令行参数。
ds_config.json 是 deepspeed 的配置参数。
资源配置
deepspeed 使用与 openmpi 和 horovod 兼容的 hostfile 配置多节点计算资源。hostfile 是一个主机名（或 ssh 别名）列表，这些机器可以通过无密码 ssh 访问，并且还包括 slot counts，用于指定系统上可用的 gpu 数量。例如：
worker-1 slots=4worker-2 slots=4
上述示例指定了两个名为 worker-1 和 worker-2 的机器，每台机器都有四个 gpu 用于训练。
可以使用 --hostfile 命令行选项指定 hostfile。如果没有指定 hostfile，则 deepspeed 会搜索 /job/hostfile 。如果没有指定或找到 hostfile，则 deepspeed 查询本地计算机上的 gpu 数量，以发现可用的本地 slot 数量。
下面的命令在 myhostfile 中指定的所有可用节点和 gpu 上启动 pytorch 训练工作：
deepspeed --hostfile=myhostfile --deepspeed --deepspeed_config ds_config.json
另外，deepspeed 允许您将模型的分布式训练限制在可用节点和 gpu 的子集上。此功能通过两个命令行参数启用：--num_nodes 和 --num_gpus。例如，可以使用以下命令将分布式训练限制为仅使用两个节点：
deepspeed --num_nodes=2 --deepspeed --deepspeed_config ds_config.json
您也可以使用 --include 和 --exclude 标志来包含或排除特定的资源。例如，要使用除节点 worker-2 上的 gpu 0 和节点 worker-3 上的 gpu 0 和 1 之外的所有可用资源：
deepspeed --exclude=worker-2:0@worker-3:0,1 --deepspeed --deepspeed_config ds_config.json
类似地，可以仅在 worker-2 上使用 gpu 0 和 1：
deepspeed --include=worker-2:0,1 --deepspeed --deepspeed_config ds_config.json
多节点环境变量
当在多个节点上进行训练时，我们发现支持传播用户定义的环境变量非常有用。默认情况下，deepspeed 将传播所有设置的 nccl 和 python 相关环境变量。如果您想传播其它变量，可以在名为 .deepspeed_env 的文件中指定它们，该文件包含一个行分隔的 var=val 条目列表。deepspeed 启动器将查找你执行的本地路径以及你的主目录（~/）。
以一个具体的例子来说明，有些集群需要在训练之前设置特殊的 nccl 变量。用户可以简单地将这些变量添加到其主目录中的 .deepspeed_env 文件中，该文件如下所示：
nccl_ib_disable=1nccl_socket_ifname=eth0
deepspeed 然后会确保在启动每个进程时在整个训练工作的每个节点上设置这些环境变量。
mpi 和 azureml 兼容性
如上所述，deepspeed 提供了自己的并行启动器来帮助启动多节点/多gpu训练作业。如果您喜欢使用mpi（例如 mpirun）启动训练作业，则我们提供对此的支持。需要注意的是，deepspeed 仍将使用 torch 分布式 nccl 后端，而不是 mpi 后端。
要使用 mpirun + deepspeed 或 azureml（使用 mpirun 作为启动器后端）启动你的训练作业，您只需要安装 mpi4py python 包。deepspeed 将使用它来发现 mpi 环境，并将必要的状态（例如 world size、rank 等）传递给 torch 分布式后端。
如果你正在使用模型并行，pipline 并行或者在调用 deepspeed.initialize(..) 之前需要使用 torch.distributed 调用，我们为你提供了额外的 deepspeed api 调用以支持相同的 mpi。请将您的初始 torch.distributed.init_process_group(..) 调用替换为：
deepspeed.init_distributed()
资源配置（单节点）
如果我们只在单个节点上运行（具有一个或多个gpu），deepspeed不需要像上面描述的那样使用 hostfile。如果没有检测到或传递 hostfile，则 deepspeed 将查询本地计算机上的 gpu 数量来发现可用的插槽数。--include 和 --exclude 参数与正常工作相同，但用户应将“localhost”指定为主机名。
另外需要注意的是，cuda_visible_devices 不能用于 deepspeed 来控制应该使用哪些设备。例如，要仅使用当前节点的 gpu1，请执行以下操作：
deepspeed --include localhost:1 ...
0x2. installation details
对应原文：https://www.deepspeed.ai/tutorials/advanced-install/
安装细节
通过 pip 是最快捷的开始使用 deepspeed 的方式，这将安装最新版本的 deepspeed，不会与特定的 pytorch 或 cuda 版本绑定。deepspeed 包含若干个 c++/cuda 扩展，我们通常称之为“ops”。默认情况下，所有这些 extensions/ops 将使用 torch 的 jit c++ 扩展加载器即时构建（jit）(https://pytorch.org/docs/stable/cpp_extension.html) ，该加载器依赖 ninja 在运行时进行动态链接。
pip install deepspeed
安装完成后，你可以使用 ds_report 或 python -m deepspeed.env_report 命令查看 deepspeed 环境报告，以验证你的安装并查看你的机器与哪些 ops 兼容。我们发现，在调试 deepspeed 安装或兼容性问题时，这个报告很有用。
ds_report
预安装deepspeed的ops
注意：在预编译任何 deepspeed 的 c++/cuda ops 之前，必须先安装 pytorch。但是，如果使用 ops 的默认 jit 编译模式，则不需要预编译安装。
有时我们发现，将一些或全部 deepspeed c++/cuda ops 预先安装而不使用 jit 编译路径是有用的。为了支持预安装，我们引入了构建环境标志以打开/关闭特定 ops 的构建。
您可以通过设置 ds_build_ops 环境变量为 1 来指示我们的安装程序（install.sh 或 pip install）尝试安装所有 ops，例如：
ds_build_ops=1 pip install deepspeed
deepspeed 只会安装与你的机器兼容的 ops。有关系统兼容性的更多详细信息，请尝试上面描述的 ds_report 工具。
如果你只想安装特定的 op（例如 fusedlamb），你可以在安装时使用 ds_build 环境变量进行切换。例如，要仅安装带有 fusedlamb op 的 deepspeed，请使用：
ds_build_fused_lamb=1 pip install deepspeed
可用的 ds_build 选项包含：
ds_build_ops 切换所有 ops
ds_build_cpu_adam 构建 cpuadam op
ds_build_fused_adam 构建 fusedadam op (from apex)
ds_build_fused_lamb 构建 fusedlamb op
ds_build_sparse_attn 构建 sparse attention op
ds_build_transformer 构建 transformer op
ds_build_transformer_inference 构建 transformer-inference op
ds_build_stochastic_transformer 构建 stochastic transformer op
ds_build_utils 构建各种优化工具
ds_build_aio 构建异步 (nvme) i/o op
为了加速 build-all 过程，您可以使用以下方式并行编译：
ds_build_ops=1 pip install deepspeed --global-option=build_ext --global-option=-j8
这应该可以使完整构建过程加快 2-3 倍。您可以调整 -j 来指定在构建过程中使用多少个 cpu 核心。在此示例中，它设置为 8 个核心。
你还可以构建二进制 whell，并在具有相同类型的 gpu 和相同软件环境（cuda 工具包、pytorch、python 等）的多台机器上安装它。
ds_build_ops=1 python setup.py build_ext -j8 bdist_wheel
这将在 dist 目录下创建一个 pypi 二进制轮，例如 dist/deepspeed-0.3.13+8cd046f-cp38-cp38-linux_x86_64.whl，然后你可以直接在多台机器上安装它，在我们的示例中：
pip install dist/deepspeed-0.3.13+8cd046f-cp38-cp38-linux_x86_64.whl
源码安装 deepspeed
在从 github 克隆 deepspeed 仓库后，您可以通过 pip 在 jit 模式下安装 deepspeed（见下文）。由于不编译任何 c++/cuda 源文件，此安装过程应该很快完成。
pip install .
对于跨多个节点的安装，我们发现使用 github 仓库中的 install.sh (https://github.com/microsoft/deepspeed/blob/master/install.sh) 脚本安装 deepspeed 很有用。这将在本地构建一个 python whell，并将其复制到你的主机文件（通过 --hostfile 给出，或默认为 /job/hostfile）中列出的所有节点上。
当使用 deepspeed 的代码首次运行时，它将自动构建仅运行所需的 cuda 扩展，并默认将它们放置在 ~/.cache/torch_extensions/ 目录下。下一次执行相同的程序时，这些已预编译的扩展将从该目录加载。
如果你使用多个虚拟环境，则可能会出现问题，因为默认情况下只有一个 torch_extensions 目录，但不同的虚拟环境可能使用不同的设置（例如，不同的 python 或 cuda 版本），然后加载另一个环境构建的 cuda 扩展将失败。因此，如果需要，你可以使用 torch_extensions_dir 环境变量覆盖默认位置。因此，在每个虚拟环境中，你可以将其指向一个唯一的目录，并且 deepspeed 将使用它来保存和加载 cuda 扩展。
你还可以在特定运行中更改它，使用：
torch_extensions_dir=./torch-extensions deepspeed ...
选择正确的架构进行构建
如果你在运行 deepspeed 时遇到以下错误：
runtimeerror: cuda error: no kernel image is available for execution on the device
这意味着 cuda 扩展没有为你尝试使用的卡构建。
从源代码构建 deepspeed 时，deepspeed 将尝试支持各种架构，但在 jit 模式下，它只支持在构建时可见的架构。
你可以通过设置 torch_cuda_arch_list 环境变量来专门为所需的一系列架构构建：
torch_cuda_arch_list=6.1;7.5;8.6 pip install ...
当你为更少的架构构建时，这也会使构建更快。
这也是为了确保使用你的确切架构而建议的。由于各种技术原因，分布式的 pytorch 二进制文件没有完全支持所有架构，跳过兼容的二进制文件可能会导致未充分利用你的完整卡的计算能力。要查看 deepspeed 来源构建中包含哪些架构 - 保存日志并搜索 -gencode 参数。
完整的 nvidia gpu 列表及其计算能力可以在这里 (https://developer.nvidia.com/cuda-gpus) 找到。
cuda 版本不匹配
如果在运行时碰到以下错误：
exception: >- deepspeed op builder: installed cuda version {version} does not match the version torch was compiled with {version}, unable to compile cuda/cpp extensions without a matching cuda version.
你安装的 cuda 版本与用于编译 torch 的 cuda 版本不匹配。我们仅需要主版本匹配（例如，11.1 和 11.8 是可以的）。但是，主版本不匹配可能会导致意外的行为和错误。
解决此错误的最简单方法是更改已安装的 cuda 版本（使用 nvcc --version 检查）或更新 torch 版本以匹配已安装的 cuda 版本（使用 python3 -c import torch; print(torch.version) 检查）。
如果你想跳过此检查并继续使用不匹配的 cuda 版本，请使用以下环境变量：
ds_skip_cuda_check=1
针对特定功能的依赖项
一些 deepspeed 功能需要 deepspeed 的一般依赖项之外的特定依赖项。
有关每个功能/op 的 python 包依赖项，请参阅我们的 requirements 目录（https://github.com/microsoft/deepspeed/tree/master/requirements）。
我们尽力将系统级依赖项最小化，但某些功能需要特殊的系统级软件包。请查看我们的 ds_report 工具输出，以查看您是否缺少给定功能的系统级软件包。
0x3. cifar-10 tutorial
如果你还没有阅读入门指南，我们建议你先阅读入门指南（就是上面2节），然后再按照本教程逐步操作。
在本教程中，我们将向 cifar-10 模型中添加 deepspeed，这是一个小型图像分类模型。
首先，我们将介绍如何运行原始的 cifar-10 模型。然后，我们将逐步启用此模型以在 deepspeed 中运行。
运行原始的 cifar-10
cifar-10 教程的原始模型代码见（https://github.com/pytorch/tutorials/blob/main/beginner_source/blitz/cifar10_tutorial.py）。我们已将其复制到 deepspeedexamples/training/cifar/ （https://github.com/microsoft/deepspeedexamples/tree/master/training/cifar）下，并作为子模块提供。要下载，请执行：
git clone git@github.com:microsoft/deepspeedexamples.git
安装 cifar-10 模型的 requirements：
cd deepspeedexamples/training/cifarpip install -r requirements.txt
运行 python cifar10_tutorial.py，它会在第一次运行时下载训练数据集。
downloading https://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz to ./data/cifar-10-python.tar.gz170500096it [00:02, 61124868.24it/s]extracting ./data/cifar-10-python.tar.gz to ./datafiles already downloaded and verified cat frog frog frog[1, 2000] loss: 2.170[1, 4000] loss: 1.879[1, 6000] loss: 1.690[1, 8000] loss: 1.591[1, 10000] loss: 1.545[1, 12000] loss: 1.467[2, 2000] loss: 1.377[2, 4000] loss: 1.374[2, 6000] loss: 1.363[2, 8000] loss: 1.322[2, 10000] loss: 1.295[2, 12000] loss: 1.287finished traininggroundtruth: cat ship ship planepredicted: cat ship plane planeaccuracy of the network on the 10000 test images: 53 %accuracy of plane : 69 %accuracy of car : 59 %accuracy of bird : 56 %accuracy of cat : 36 %accuracy of deer : 37 %accuracy of dog : 26 %accuracy of frog : 70 %accuracy of horse : 61 %accuracy of ship : 51 %accuracy of truck : 63 %cuda:0
我这里本地使用torch 2.0版本，运行这个脚本会报错。attributeerror: '_multiprocessingdataloaderiter' object has no attribute 'next' 。这个错误通常发生在使用 pytorch 1.7 及更高版本时，因为在这些版本中，.next() 方法被弃用了，并被 .__next__() 方法取代了。因此，你可以把代码中的2处 .next() 替换成 .next()来解决这个错误。
使能 deepspeed
参数解析
使能 deepspeed 的第一步是向 cifar-10 模型添加 deepspeed 参数，可以使用以下方式的 deepspeed.add_config_arguments() 函数：
import argparse import deepspeed def add_argument(): parser=argparse.argumentparser(description='cifar') # data. # cuda. parser.add_argument('--with_cuda', default=false, action='store_true', help='use cpu in case there's no gpu support') parser.add_argument('--use_ema', default=false, action='store_true', help='whether use exponential moving average') # train. parser.add_argument('-b', '--batch_size', default=32, type=int, help='mini-batch size (default: 32)') parser.add_argument('-e', '--epochs', default=30, type=int, help='number of total epochs (default: 30)') parser.add_argument('--local_rank', type=int, default=-1, help='local rank passed from distributed launcher') # include deepspeed configuration arguments. parser = deepspeed.add_config_arguments(parser) args=parser.parse_args() return args
初始化
我们使用 deepspeed.initialize 创建 model_engine、optimizer 和 trainloader，deepspeed.initialize 的定义如下：
def initialize(args, model, optimizer=none, model_params=none, training_data=none, lr_scheduler=none, mpu=none, dist_init_required=true, collate_fn=none):
在这里，我们使用 cifar-10 模型（net）、args、parameters 和 trainset 初始化 deepspeed：
parameters = filter(lambda p: p.requires_grad, net.parameters()) args=add_argument() # initialize deepspeed to use the following features # 1) distributed model. # 2) distributed data loader. # 3) deepspeed optimizer. model_engine, optimizer, trainloader, _ = deepspeed.initialize(args=args, model=net, model_parameters=parameters, training_data=trainset)
初始化 deepspeed 后，原始 device 和 optimizer 会被删除：
#from deepspeed.accelerator import get_accelerator#device = torch.device(get_accelerator().device_name(0) if get_accelerator().is_available() else cpu)#net.to(device)#optimizer = optim.sgd(net.parameters(), lr=0.001, momentum=0.9)
训练api
deepspeed.initialize 返回的模型是 deepspeed 模型引擎，我们将使用它来使用 forward、backward 和 step api 训练模型。
for i, data in enumerate(trainloader): # get the inputs; data is a list of [inputs, labels]. inputs = data[0].to(model_engine.device) labels = data[1].to(model_engine.device) outputs = model_engine(inputs) loss = criterion(outputs, labels) model_engine.backward(loss) model_engine.step()
在使用 mini-batch 更新权重之后，deepspeed 会自动处理梯度清零。
配置
使用 deepspeed 的下一步是创建一个配置 json 文件 (ds_config.json)。该文件提供由用户定义的 deepspeed 特定参数，例如批2⃣大小、优化器、调度器和其他参数。
{ train_batch_size: 4, steps_per_print: 2000, optimizer: { type: adam, params: { lr: 0.001, betas: [ 0.8, 0.999 ], eps: 1e-8, weight_decay: 3e-7 } }, scheduler: { type: warmuplr, params: { warmup_min_lr: 0, warmup_max_lr: 0.001, warmup_num_steps: 1000 } }, wall_clock_breakdown: false }
运行启用 deepspeed 的 cifar-10 模型
要使用 deepspeed 开始训练已应用 deepspeed 的 cifar-10 模型，请执行以下命令，默认情况下它将使用所有检测到的 gpu。
deepspeed cifar10_deepspeed.py --deepspeed_config ds_config.json
deepspeed 通常会打印更多的训练细节供用户监视，包括训练设置、性能统计和损失趋势。
deepspeed.pt cifar10_deepspeed.py --deepspeed_config ds_config.jsonwarning: permanently added '[192.168.0.22]:42227' (ecdsa) to the list of known hosts.cmd=['pdsh', '-w', 'worker-0', 'export nccl_version=2.4.2; ', 'cd /data/users/deepscale/test/ds_v2/examples/cifar;', '/usr/bin/python', '-u', '-m', 'deepspeed.pt.deepspeed_launch', '--world_info=eyj3b3jrzxitmci6ifswxx0=', '--node_rank=%n', '--master_addr=192.168.0.22', '--master_port=29500', 'cifar10_deepspeed.py', '--deepspeed', '--deepspeed_config', 'ds_config.json']worker-0: warning: permanently added '[192.168.0.22]:42227' (ecdsa) to the list of known hosts.worker-0: 0 nccl_version 2.4.2worker-0: world info dict: {'worker-0': [0]}worker-0: nnodes=1, num_local_procs=1, node_rank=0worker-0: global_rank_mapping=defaultdict(, {'worker-0': [0]})worker-0: dist_world_size=1worker-0: setting cuda_visible_devices=0worker-0: files already downloaded and verifiedworker-0: files already downloaded and verifiedworker-0: bird car horse shipworker-0: deepspeed info: version=2.1, git-hash=fa937e7, git-branch=masterworker-0: [info 2020-02-06 1949] set device to local rank 0 within node.worker-0: 1 1worker-0: [info 2020-02-06 1956] using deepspeed optimizer param name adam as basic optimizerworker-0: [info 2020-02-06 1956] deepspeed basic optimizer = fusedadam (worker-0: parameter group 0worker-0: betas: [0.8, 0.999]worker-0: bias_correction: trueworker-0: eps: 1e-08worker-0: lr: 0.001worker-0: max_grad_norm: 0.0worker-0: weight_decay: 3e-07worker-0: )worker-0: [info 2020-02-06 1956] deepspeed using configured lr scheduler = warmuplrworker-0: [info 2020-02-06 1956] deepspeed lr scheduler = worker-0: [info 2020-02-06 1956] rank:0 step=0, skipped=0, lr=[0.001], mom=[[0.8, 0.999]]worker-0: deepspeedlight configuration:worker-0: allgather_size ............... 500000000worker-0: allreduce_always_fp32 ........ falseworker-0: disable_allgather ............ falseworker-0: dump_state ................... falseworker-0: dynamic_loss_scale_args ...... noneworker-0: fp16_enabled ................. falseworker-0: global_rank .................. 0worker-0: gradient_accumulation_steps .. 1worker-0: gradient_clipping ............ 0.0worker-0: initial_dynamic_scale ........ 4294967296worker-0: loss_scale ................... 0worker-0: optimizer_name ............... adamworker-0: optimizer_params ............. {'lr': 0.001, 'betas': [0.8, 0.999], 'eps': 1e-08, 'weight_decay': 3e-07}worker-0: prescale_gradients ........... falseworker-0: scheduler_name ............... warmuplrworker-0: scheduler_params ............. {'warmup_min_lr': 0, 'warmup_max_lr': 0.001, 'warmup_num_steps': 1000}worker-0: sparse_gradients_enabled ..... falseworker-0: steps_per_print .............. 2000worker-0: tensorboard_enabled .......... falseworker-0: tensorboard_job_name ......... deepspeedjobnameworker-0: tensorboard_output_path ......worker-0: train_batch_size ............. 4worker-0: train_micro_batch_size_per_gpu 4worker-0: wall_clock_breakdown ......... falseworker-0: world_size ................... 1worker-0: zero_enabled ................. falseworker-0: json = {worker-0: optimizer:{worker-0: params:{worker-0: betas:[worker-0: 0.8,worker-0: 0.999worker-0: ],worker-0: eps:1e-08,worker-0: lr:0.001,worker-0: weight_decay:3e-07worker-0: },worker-0: type:adamworker-0: },worker-0: scheduler:{worker-0: params:{worker-0: warmup_max_lr:0.001,worker-0: warmup_min_lr:0,worker-0: warmup_num_steps:1000worker-0: },worker-0: type:warmuplrworker-0: },worker-0: steps_per_print:2000,worker-0: train_batch_size:4,worker-0: wall_clock_breakdown:falseworker-0: }worker-0: [info 2020-02-06 1956] 0/50, samplespersec=1292.6411179579866worker-0: [info 2020-02-06 1956] 0/100, samplespersec=1303.6726433398537worker-0: [info 2020-02-06 1956] 0/150, samplespersec=1304.4251022567403......worker-0: [2, 12000] loss: 1.247worker-0: [info 2020-02-06 2023] 0/24550, samplespersec=1284.4954513975558worker-0: [info 2020-02-06 2023] 0/24600, samplespersec=1284.384033658866worker-0: [info 2020-02-06 2023] 0/24650, samplespersec=1284.4433482972925worker-0: [info 2020-02-06 2023] 0/24700, samplespersec=1284.4664449792422worker-0: [info 2020-02-06 2023] 0/24750, samplespersec=1284.4950124403447worker-0: [info 2020-02-06 2023] 0/24800, samplespersec=1284.4756105952233worker-0: [info 2020-02-06 2024] 0/24850, samplespersec=1284.5251526215386worker-0: [info 2020-02-06 2024] 0/24900, samplespersec=1284.531217073863worker-0: [info 2020-02-06 2024] 0/24950, samplespersec=1284.5125323220368worker-0: [info 2020-02-06 2024] 0/25000, samplespersec=1284.5698818883018worker-0: finished trainingworker-0: groundtruth: cat ship ship planeworker-0: predicted: cat car car planeworker-0: accuracy of the network on the 10000 test images: 57 %worker-0: accuracy of plane : 61 %worker-0: accuracy of car : 74 %worker-0: accuracy of bird : 49 %worker-0: accuracy of cat : 36 %worker-0: accuracy of deer : 44 %worker-0: accuracy of dog : 52 %worker-0: accuracy of frog : 67 %worker-0: accuracy of horse : 58 %worker-0: accuracy of ship : 70 %worker-0: accuracy of truck : 59 %
补充：你可以使用 --include localhost:1 类似的命令在单卡上运行模型。此外，--num_gpus可以指定使用多少张gpu来运行。
0x4. 总结
本文翻译了 getting started 和 installation details 和 cifar-10 tutorial 三个教程，可以让新手安装和简单使用上 deepspeed 来做模型训练。
VLAN的基础知识总结
特斯拉欧洲工厂产能过剩问题 未来能否解决还未可知
CAN接120欧姆终端电阻的原因分析
苹果推出的两款Mac新品轻松超越最高配的MacBook Pro
2017亚洲VRAR全球商贸平台
DeepSpeed安装和使用教程
!!现货AgilentE3644A单路输出电源Agilent
高通推出Snapdragon Ride视觉系统_瑞萨电子推出低功耗产品线进入FPGA市场
美国国家半导体推出LMK04800系列时钟抖动滤除器
薄膜电容分正负极吗
两款高低温双限控制器电路图详解
运放中容性负载该怎么处理？
OPPO Find9最新渲染图曝光，仅屏占比就虐哭三星S8！
在新基建的背景下，人工智能产业将迎来怎样的市场机遇？
医用超声波清洗机的适用范围
ATF中bl31的启动
led灯泡规格
采用高时钟频率的FPGA实现高速运动物体测速系统的设计
产学研交流—哈工大田艳红教授一行到访翠展微
南京智慧路灯机器人上岗，闯红灯会发出告警