昆仑 XPU 基于套件的使用指南¶

环境说明¶

• 本教程介绍如何基于昆仑 XPU 进行 ResNet50 的训练，总共需要 4 卡进行训练

• 考虑到环境差异性，我们推荐使用教程提供的标准镜像完成环境准备：

  • 镜像链接： registry.baidubce.com/device/paddle-xpu:ubuntu20-x86_64-gcc84-py310

环境安装¶

安装 PaddlePaddle

该命令会自动安装飞桨主框架每日自动构建的 nightly-build 版本

由于 xpu 代码位于飞桨主框架中，因此我们不需要安装额外的 Custom Device 包

python -m pip install paddlepaddle-xpu -i https://www.paddlepaddle.org.cn/packages/nightly/xpu/

一、安装 PaddleClas 代码库¶

git clone https://github.com/PaddlePaddle/PaddleClas.git -b release/2.5.1
cd PaddleClas
python -m pip install -r requirements.txt
python -m pip install .

二、数据准备¶

请根据 数据说明文档 准备 ImageNet1k 数据集，准备完成后解压到 PaddleClas/dataset/目录下，目录结构如下：

PaddleClas/dataset/ILSVRC2012/
|_ train/
|  |_ n01440764
|  |  |_ n01440764_10026.JPEG
|  |  |_ ...
|  |_ ...
|  |
|  |_ n15075141
|     |_ ...
|     |_ n15075141_9993.JPEG
|_ val/
|  |_ ILSVRC2012_val_00000001.JPEG
|  |_ ...
|  |_ ILSVRC2012_val_00050000.JPEG
|_ train_list.txt
|_ val_list.txt

三、模型训练¶

进入 PaddleClas 目录下，执行如下命令启动 4 卡 XPU（0 ~ 3 号卡）训练，其中：

• 参数 -o Global.device 指定的是即将运行的设备，这里需要传入的是 xpu ，通过指定该参数，PaddleClas 调用飞桨的设备指定接口 paddle.set_device 来指定运行设备为 xpu，在进行模型训练时，飞桨将自动调用 xpu 算子用于执行模型计算。关于设备指定的更多细节，可以参考官方 api paddle.set_device。

• 参数 -c ./ppcls/configs/ImageNet/ResNet/ResNet50.yaml 表示读取指定目录下的配置文件，配置文件中指定了模型结构，训练超参等所有训练模型需要用到的配置，该文件中指定的模型结构为 ResNet50

python -u -m paddle.distributed.launch --devices 0,1,2,3 tools/train.py \
    -c ./ppcls/configs/ImageNet/ResNet/ResNet50.yaml \
    -o Global.output_dir="output/ResNet50" \
    -o Global.device="xpu"

上述命令会在 PaddleClas 目录下产生一个 output/ResNet50 目录，该目录会存放训练过程中的模型参数

四、模型导出 & 推理¶

python tools/export_model.py \
    -c ./ppcls/configs/ImageNet/ResNet/ResNet50.yaml \
    -o Global.pretrained_model=./output/ResNet50/epoch_120 \
    -o Global.save_inference_dir=./deploy/models/ResNet50 \
    -o Global.device=xpu

cd deploy
python python/predict_cls.py \
    -c ./configs/inference_cls.yaml \
    -o Global.inference_model_dir=./models/ResNet50 \
    -o Global.use_gpu=False \
    -o Global.use_xpu=True \
    -o Global.infer_imgs=./images/ImageNet

# 安装 paddle2onnx，该工具支持将 PaddleInference 模型转换为 ONNX 格式
python -m pip install paddle2onnx

paddle2onnx --model_dir=./deploy/models/ResNet50/ \
    --model_filename=inference.pdmodel \
    --params_filename=inference.pdiparams \
    --save_file=./deploy/models/ResNet50_onnx/inference.onnx \
    --opset_version=10 \
    --enable_onnx_checker=True