复杂网络¶

在处理复杂功能时，我们通常需要写大量的代码来构建复杂的神经网络。因此，为了方便用户更加容易地搭建复杂网络模型，我们提供了一些比较常用的基本函数模块，以此来简化用户的代码量，从而降低开发成本。这些模块通常是由细粒度的函数根据一定的逻辑拼接组合而成，实现代码请参考 nets.py 。

1.simple_img_conv_pool¶

simple_img_conv_pool 是由 conv2d 与 pool2d 串联而成。该模块在图像分类模型中广泛使用，比如应用在 MNIST 数字分类的问题。

API Reference 请参考 simple_img_conv_pool

2.img_conv_group¶

img_conv_group 是由 conv2d , batch_norm, dropout 和 pool2d 组成。该模块可以实现多个 conv2d , batch_norm 和 dropout 的串联单元与一个 pool2d 的组合。其中， conv2d , batch_norm 和 dropout 的数量都可以分别控制，从而得到多样的组合。该模块广泛使用在比较复杂的图像分类任务中，比如 VGG 。

API Reference 请参考 img_conv_group

3.sequence_conv_pool¶

sequence_conv_pool 是由 sequence_conv 与 sequence_pool 串联而成。该模块在自然语言处理以及语音识别等领域均有广泛应用，比如文本分类模型 , TagSpace 以及 Multi-view Simnet 等模型。

API Reference 请参考 sequence_conv_pool

4.glu¶

glu 全称 Gated Linear Units，来源于论文 Language Modeling with Gated Convolutional Networks ，由 split ， sigmoid 和 elementwise_mul 组成。它会把输入数据均分为2等份，并对第二部分求 Sigmoid , 然后再与第一部分数据求点乘得到输出。

API Reference 请参考 glu

5.scaled_dot_product_attention¶

scaled_dot_product_attention 来源于论文 Attention Is All You Need ，主要是由 fc 和 softmax 组成。对于输入数据 Queries , Key 和 Values 按照如下公式求出 Attention 。

\[Attention(Q, K, V)= softmax(QK^\mathrm{T})V\]

该模块广泛使用在机器翻译的模型中，比如 Transformer 。

API Reference 请参考 scaled_dot_product_attention