组网、训练、评估常见问题

问题:stop_gradient=True的影响范围?

  • 答复:如果静态图中某一层使用stop_gradient=True,那么这一层之前的层都会自动 stop_gradient=True,梯度不再回传。


问题:请问paddle.matmulpaddle.multiply有什么区别?

  • 答复:matmul支持的两个tensor的矩阵乘操作。muliply是支持两个tensor进行逐元素相乘。


问题:在模型组网时,inplace参数的设置会影响梯度回传吗?经过不带参数的op之后,梯度是否会保留下来?

  • 答复:inplace 参数不会影响梯度回传。只要用户没有手动设置stop_gradient=True,梯度都会保留下来。


问题:如何不训练某层的权重?

  • 答复:在ParamAttr里设置learning_rate=0trainable设置为False。具体请参考文档


问题:使用CPU进行模型训练,如何利用多处理器进行加速?

  • 答复:在2.0版本动态图模式下,CPU训练加速可以从以下两点进行配置:

  1. 使用多进程DataLoader加速数据读取:训练数据较多时,数据处理往往会成为训练速度的瓶颈,paddle提供了异步数据读取接口DataLoader,可以使用多进程进行数据加载,充分利用多处理的优势,具体使用方法及示例请参考API文档:paddle.io.DataLoader

  2. 推荐使用支持MKL(英特尔数学核心函数库)的paddle安装包,MKL相比Openblas等通用计算库在计算速度上有显著的优势,能够提升您的训练效率。


问题:使用NVIDIA多卡运行Paddle时报错 Nccl error,如何解决?

  • 答复:这个错误大概率是环境配置不正确导致的,建议您使用NVIDIA官方提供的方法参考检测自己的环境是否配置正确。具体地,可以使用 NCCL Tests 检测您的环境;如果检测不通过,请登录 NCCL官网 下载NCCl,安装后重新检测。


问题:多卡训练时启动失败,Error:Out of all 4 Trainers,如何处理?

  • 问题描述:多卡训练时启动失败,显示如下信息:

图片

  • 报错分析:主进程发现一号卡(逻辑)上的训练进程退出了。

  • 解决方法:查看一号卡上的日志,找出具体的出错原因。paddle.distributed.launch 启动多卡训练时,设置 --log_dir 参数会将每张卡的日志保存在设置的文件夹下。


问题:训练时报错提示显存不足,如何解决?

  • 答复:可以尝试按如下方法解决:

  1. 检查是当前模型是否占用了过多显存,可尝试减小batch_size

  2. 开启以下三个选项:

#一旦不再使用即释放内存垃圾,=1.0 垃圾占用内存大小达到10G时,释放内存垃圾
export FLAGS_eager_delete_tensor_gb=0.0
#启用快速垃圾回收策略,不等待cuda kernel 结束,直接释放显存
export FLAGS_fast_eager_deletion_mode=1
#该环境变量设置只占用0%的显存
export FLAGS_fraction_of_gpu_memory_to_use=0

详细请参考官方文档存储分配与优化 调整相关配置。

此外,建议您使用AI Studio 学习与 实训社区训练,获取免费GPU算力,提升您的训练效率。


问题:如何提升模型训练时的GPU利用率?

  • 答复:有如下两点建议:

    1. 如果数据预处理耗时较长,可使用DataLoader加速数据读取过程,具体请参考API文档:paddle.io.DataLoader

    2. 如果提高GPU计算量,可以增大batch_size,但是注意同时调节其他超参数以确保训练配置的正确性。

    以上两点均为比较通用的方案,其他的优化方案和模型相关,可参考官方模型库 models 中的具体示例。


问题:如何处理变长ID导致程序内存占用过大的问题?

  • 答复:请先参考显存分配与优化文档 开启存储优化开关,包括显存垃圾及时回收和Op内部的输出复用输入等。若存储空间仍然不够,建议:

    1. 降低 batch_size

    2. 对index进行排序,减少padding的数量。


问题:训练过程中如果出现不收敛的情况,如何处理?

  • 答复:不收敛的原因有很多,可以参考如下方式排查:

    1. 检查数据集中训练数据的准确率,数据是否有错误,特征是否归一化;

    2. 简化网络结构,先基于benchmark实验,确保在baseline网络结构和数据集上的收敛结果正确;

    3. 对于复杂的网络,每次只增加一个改动,确保改动后的网络正确;

    4. 检查网络在训练数据上的Loss是否下降;

    5. 检查学习率、优化算法是否合适,学习率过大会导致不收敛;

    6. 检查batch_size设置是否合适,batch_size过小会导致不收敛;

    7. 检查梯度计算是否正确,是否有梯度过大的情况,是否为NaN


问题:Loss为NaN,如何处理?

  • 答复:可能由于网络的设计问题,Loss过大(Loss为NaN)会导致梯度爆炸。如果没有改网络结构,但是出现了NaN,可能是数据读取导致,比如标签对应关系错误。还可以检查下网络中是否会出现除0,log0的操作等。


问题:训练后的模型很大,如何压缩?

  • 答复:建议您使用飞桨模型压缩工具PaddleSlim。PaddleSlim是飞桨开源的模型压缩工具库,包含模型剪裁、定点量化、知识蒸馏、超参搜索和模型结构搜索等一系列模型压缩策略,专注于模型小型化技术


问题:load_inference_model在加载预测模型时能否用py_reader读取?

  • 答复:目前load_inference_model加载进行的模型还不支持py_reader输入。


问题:预测时如何打印模型中每一步的耗时?

  • 答复:可以在设置config时使用config.enable_profile()统计预测时每个算子和数据搬运的耗时。对于推理api的使用,可以参考官网文档Python预测API介绍。示例代码:

# 设置config:
def set_config(args):
    config = Config(args.model_file, args.params_file)
    config.disable_gpu()
    # enable_profile()打开后会统计每一步耗时
    config.enable_profile()
    config.switch_use_feed_fetch_ops(False)
    config.switch_specify_input_names(True)
    config.switch_ir_optim(False)
    return config