AlphaDropout¶
AlphaDropout是一种具有自归一化性质的dropout。均值为0,方差为1的输入,经过AlphaDropout计算之后,输出的均值和方差与输入保持一致。AlphaDropout通常与SELU激活函数组合使用。论文请参考: Self-Normalizing Neural Networks
在动态图模式下,请使用模型的 eval() 方法切换至测试阶段。
注解
对应的 functional方法 请参考: alpha_dropout 。
返回¶
经过AlphaDropout之后的结果,与输入x形状相同的 Tensor 。
代码示例¶
import paddle
import numpy as np
x = np.array([[-1, 1], [-1, 1]]).astype('float32')
x = paddle.to_tensor(x)
m = paddle.nn.AlphaDropout(p=0.5)
y_train = m(x)
m.eval() # switch the model to test phase
y_test = m(x)
print(x)
print(y_train)
# [[-0.10721093, 1.6655989 ], [-0.7791938, -0.7791938]] (randomly)
print(y_test)