rrelu

paddle.nn.functional. rrelu ( x, lower=1. / 8., upper=1. / 3., training=True, name=None )

rrelu 激活函数，应用随机纠正线性单元对神经元激活，参考论文： Empirical Evaluation of Rectified Activations in Convolutional Network 。

训练阶段对负斜率进行均匀分布随机采样：

\[\begin{split}rrelu(x)= \left\{ \begin{array}{rcl} x, & & if \ x >= 0 \\ a * x, & & otherwise \\ \end{array} \right.\end{split}\]

其中，\(x\) 为输入的 Tensor，\(a\) 是服从（\(lower\)，\(upper\) ）均匀分布的随机值。

测试阶段负斜率取均匀分布上下边界（\(lower\) 及 \(upper\) ）的平均值：

\[\begin{split}rrelu(x)= \left\{ \begin{array}{rcl} x, & & if \ x >= 0 \\ (lower + upper) * 0.5 * x, & & otherwise \\ \end{array} \right.\end{split}\]

其中，\(x\) 为输入的 Tensor，\(lower\) 及 \(upper\) 是随机均匀分布的上下边界。

参数

  • x (Tensor) - 输入的 Tensor，数据类型为：float16、float32、float64。

  • lower (float，可选) - 负值斜率的随机值范围下限，lower 包含在范围中。支持的数据类型：float。默认值为 0.125。

  • upper (float，可选) - 负值斜率的随机值范围上限，upper 包含在范围中。支持的数据类型：float。默认值为 0.333。

  • training (bool，可选) - 标记是否为训练阶段。默认：True。

  • name (str，可选) - 具体用法请参见 Name，一般无需设置，默认值为 None。

返回

Tensor，数据类型和形状同 x 一致。

代码示例

COPY-FROM: paddle.nn.functional.rrelu