[仅 paddle 参数更多]torch.cuda.amp.autocast¶

torch.cuda.amp.autocast ¶

          torch.cuda.amp.autocast(enabled=True, dtype=torch.float16, cache_enabled=True)

         

          paddle.amp.auto_cast(enable=True, custom_white_list=None, custom_black_list=None, level='O1', dtype='float16', use_promote=True)

         

其中 Paddle 相比 PyTorch 支持更多其他参数，具体如下：

PyTorch	PaddlePaddle	备注
enabled	enable	是否开启自动混合精度。
dtype	dtype	使用的数据类型。
cache_enabled	-	是否启用权重缓存，Paddle 无此参数，一般对网络训练结果影响不大，可直接删除。
-	custom_white_list	自定义算子白名单，PyTorch 无此参数，Paddle 保持默认即可。
-	custom_black_list	自定义算子黑名单，PyTorch 无此参数，Paddle 保持默认即可。
-	level	混合精度训练模式，PyTorch 无此参数，Paddle 保持默认即可。
-	use_promote	当一个算子存在 float32 类型的输入时，按照 Promote to the Widest 原则，选择 float32 数据类型进行计算。仅在 AMP-O2 训练时可配置。默认为 True。PyTorch 无此参数，Paddle 保持默认即可。