XavierUniform¶

class paddle.nn.initializer. XavierUniform ( fan_in=None, fan_out=None, gain=1.0, name=None ) [源代码] ¶

使用均匀分布的泽维尔权重初始化方法。泽维尔权重初始化方法出自泽维尔·格洛特和约书亚·本吉奥的论文 Understanding the difficulty of training deep feedforward neural networks 。

该初始化函数用于保持所有层的梯度尺度几乎一致。在均匀分布的情况下，取值范围为 \([-x,x]\)，其中

\[x = gain \times \sqrt{\frac{6.0}{fan\_in+fan\_out}}.\]

参数¶

fan_in (float，可选) - 用于泽维尔初始化的 fan_in，从 Tensor 中推断，默认值为 None。

fan_out (float，可选) - 用于泽维尔初始化的 fan_out，从 Tensor 中推断，默认值为 None。

gain (float，可选) - 缩放因子。默认值为 1.0。

name (str，可选) - 具体用法请参见 Name，一般无需设置，默认值为 None。

返回¶

由使用均匀分布的泽维尔权重初始化方法得到的参数。

代码示例¶

          >>> import paddle
>>> paddle.seed(1)
>>> data = paddle.ones(shape=[3, 1, 2], dtype='float32')
>>> weight_attr = paddle.framework.ParamAttr(
...     name="linear_weight",
...     initializer=paddle.nn.initializer.XavierUniform())
>>> bias_attr = paddle.framework.ParamAttr(
...     name="linear_bias",
...     initializer=paddle.nn.initializer.XavierUniform())
>>> linear = paddle.nn.Linear(2, 2, weight_attr=weight_attr, bias_attr=bias_attr)
>>> print(linear.weight)
Parameter containing:
Tensor(shape=[2, 2], dtype=float32, place=Place(cpu), stop_gradient=False,
[[-1.18095720,  0.64892638],
 [ 0.43125069, -1.11156428]])
>>> print(linear.bias)
Parameter containing:
Tensor(shape=[2], dtype=float32, place=Place(cpu), stop_gradient=False,
[-0.27524316,  1.13808715])

>>> res = linear(data)
>>> print(res)
Tensor(shape=[3, 1, 2], dtype=float32, place=Place(cpu), stop_gradient=False,
[[[-1.02494967,  0.67544925]],
 [[-1.02494967,  0.67544925]],
 [[-1.02494967,  0.67544925]]])

         

使用本API的教程文档¶

PyTorch 写法