prelu¶
prelu激活函数
\[prelu(x) = max(0, x) + \alpha * min(0, x)\]
共提供三种激活方式:
all: 所有元素使用同一个alpha值
channel: 在同一个通道中的元素使用同一个alpha值
element: 每一个元素有一个独立的alpha值
- 参数:
返回: 表示激活输出Tensor,数据类型和形状于输入相同。
代码示例:
import paddle
x = paddle.to_tensor([-1., 2., 3.])
param = paddle.ParamAttr(initializer=paddle.nn.initializer.Constant(0.2))
out = paddle.static.nn.prelu(x, 'all', param)
# [-0.2, 2., 3.]