paddle.nn¶
paddle.nn 目录下包含飞桨框架支持的神经网络层和相关函数的相关API。具体如下：
容器相关¶
API名称 |
API功能 |
|---|---|
|
|
基于OOD实现的动态图Layer |
|
|
用于保存子层列表 |
|
|
参数列表容器 |
|
|
顺序容器；子Layer将按构造函数参数的顺序添加到此容器中 |
卷积层¶
API名称 |
API功能 |
|---|---|
|
|
一维卷积层 |
|
|
一维转置卷积层 |
|
|
二维卷积层 |
|
|
二维转置卷积层 |
|
|
三维卷积层 |
|
|
三维转置卷积层 |
pooling层¶
API名称 |
API功能 |
|---|---|
|
|
一维自适应平均池化层 |
|
|
二维自适应平均池化层 |
|
|
三维自适应平均池化层 |
|
|
一维自适应最大池化层 |
|
|
二维自适应最大池化层 |
|
|
三维自适应最大池化层 |
|
|
一维平均池化层 |
|
|
二维平均池化层 |
|
|
三维平均池化层 |
|
|
一维最大池化层 |
|
|
二维最大池化层 |
|
|
三维最大池化层 |
Padding层¶
API名称 |
API功能 |
|---|---|
|
|
一维填充层 |
|
|
二维填充层 |
|
|
三维填充层 |
激活层¶
API名称 |
API功能 |
|---|---|
|
|
ELU激活层 |
|
|
GELU激活层 |
|
|
Hardshrink激活层 |
|
|
Hardsigmoid激活层 |
|
|
Hardswish激活层 |
|
|
Hardtanh激活层 |
|
|
LeakyReLU 激活层 |
|
|
LogSigmoid激活层 |
|
|
LogSoftmax激活层 |
|
|
Maxout激活层 |
|
|
PReLU激活层 |
|
|
ReLU激活层 |
|
|
ReLU6激活层 |
|
|
SELU激活层 |
|
|
Sigmoid激活层 |
|
|
Silu激活层 |
|
|
Softmax激活层 |
|
|
Softplus激活层 |
|
|
Softshrink激活层 |
|
|
Softsign激活层 |
|
|
Swish激活层 |
|
|
Tanh激活层 |
|
|
Tanhshrink激活层 |
|
|
Thresholded ReLU激活层 |
Normalization层¶
API名称 |
API功能 |
|---|---|
|
|
Batch Normalization层 |
|
|
一维Batch Normalization层 |
|
|
二维Batch Normalization层 |
|
|
三维Batch Normalization层 |
|
|
Group Normalization层 |
|
|
一维Instance Normalization层 |
|
|
二维Instance Normalization层 |
|
|
三维Instance Normalization层 |
|
|
用于保存Normalization层列表 |
|
|
Local Response Normalization层 |
|
|
Spectral Normalization层 |
|
|
Synchronized Batch Normalization层 |
循环神经网络层¶
API名称 |
API功能 |
|---|---|
|
|
双向循环神经网络 |
|
|
门控循环单元网络 |
|
|
门控循环单元 |
|
|
长短期记忆网络 |
|
|
长短期记忆网络单元 |
|
|
循环神经网络 |
|
|
循环神经网络单元基类 |
|
|
简单循环神经网络 |
|
|
简单循环神经网络单元 |
Transformer相关¶
API名称 |
API功能 |
|---|---|
|
|
多头注意力机制 |
|
|
Transformer模型 |
|
|
Transformer解码器 |
|
|
Transformer解码器层 |
|
|
Transformer编码器 |
|
|
Transformer编码器层 |
线性层¶
API名称 |
API功能 |
|---|---|
|
|
对两个输入执行双线性张量积 |
|
|
线性变换层 |
Dropout层¶
API名称 |
API功能 |
|---|---|
|
|
具有自归一化性质的dropout |
|
|
Dropout |
|
|
一维Dropout |
|
|
二维Dropout |
Embedding层¶
API名称 |
API功能 |
|---|---|
|
|
嵌入层(Embedding Layer) |
Loss层¶
API名称 |
API功能 |
|---|---|
|
|
BCELoss层 |
|
|
BCEWithLogitsLoss层 |
|
|
交叉熵损失层 |
|
|
CTCLoss层 |
|
|
层次sigmoid损失层 |
|
|
Kullback-Leibler散度损失层 |
|
|
L1损失层 |
|
|
MarginRankingLoss层 |
|
|
均方差误差损失层 |
|
|
NLLLoss层 |
|
|
平滑L1损失层 |
Vision层¶
API名称 |
API功能 |
|---|---|
|
|
将一个形为[N, C, H, W]或是[N, H, W, C]的Tensor重新排列成形为 [N, C/r**2, H*r, W*r]或 [N, H*r, W*r, C/r**2] 的Tensor |
|
|
用于调整一个batch中图片的大小 |
|
|
用于调整一个batch中图片的大小（使用双线性插值方法） |
|
|
用于调整一个batch中图片的大小（使用最近邻插值方法） |
Clip相关¶
API名称 |
API功能 |
|---|---|
|
|
将一个 Tensor列表 t_list 中所有Tensor的L2范数之和，限定在 clip_norm 范围内 |
|
|
将输入的多维Tensor X 的L2范数限制在 clip_norm 范围之内 |
|
|
将输入的多维Tensor X 的值限制在 [min, max] 范围 |
公共层¶
API名称 |
API功能 |
|---|---|
|
|
带beam search解码策略的解码器 |
|
|
余弦相似度计算 |
|
|
循环解码 |
|
|
将一个连续维度的Tensor展平成一维Tensor |
|
|
计算两个向量之间pairwise的距离 |
卷积相关函数¶
API名称 |
API功能 |
|---|---|
|
|
一维卷积函数 |
|
|
一维转置卷积函数 |
|
|
二维卷积函数 |
|
|
二维转置卷积函数 |
|
|
三维卷积函数 |
|
|
三维转置卷积函数 |
Pooling相关函数¶
API名称 |
API功能 |
|---|---|
|
|
一维自适应平均池化 |
|
|
二维自适应平均池化 |
|
|
三维自适应平均池化 |
|
|
一维自适应最大池化 |
|
|
一维平均池化 |
|
|
二维平均池化 |
|
|
三维平均池化 |
|
|
一维最大池化 |
|
|
二维最大池化 |
|
|
三维最大池化 |
Padding相关函数¶
API名称 |
API功能 |
|---|---|
|
|
依照 pad 和 mode 属性对input进行填充 |
激活函数¶
API名称 |
API功能 |
|---|---|
|
|
elu激活函数 |
|
|
gelu激活函数 |
|
|
hardshrink激活函数 |
|
|
sigmoid的分段线性逼近激活函数 |
|
|
hardswish激活函数 |
|
|
hardtanh激活函数 |
|
|
leaky_relu激活函数 |
|
|
log_sigmoid激活函数 |
|
|
log_softmax激活函数 |
|
|
maxout激活函数 |
|
|
prelu激活函数 |
|
|
relu激活函数 |
|
|
relu6激活函数 |
|
|
selu激活函数 |
|
|
sigmoid激活函数 |
|
|
silu激活函数 |
|
|
softmax激活函数 |
|
|
softplus激活函数 |
|
|
softshrink激活函数 |
|
|
softsign激活函数 |
|
|
swish激活函数 |
|
|
tanhshrink激活函数 |
|
|
thresholded_relu激活函数 |
Normalization方法¶
API名称 |
API功能 |
|---|---|
|
|
Batch Normalization方法 |
|
|
Instance Normalization方法 |
|
|
Layer Normalization方法 |
|
|
Local Response Normalization函数 |
|
|
归一化方法 |
|
|
移除传入 layer 中的权重归一化 |
|
|
对传入的 layer 中的权重参数进行归一化 |
线性处理相关函数¶
API名称 |
API功能 |
|---|---|
|
|
对两个输入执行双线性张量积 |
|
|
线性变换 |
Dropout方法¶
API名称 |
API功能 |
|---|---|
|
|
一种具有自归一化性质的dropout |
|
|
Dropout |
|
|
一维Dropout |
|
|
二维Dropout |
Embedding相关函数¶
API名称 |
API功能 |
|---|---|
|
|
对角线Embedding 方法 |
|
|
Embedding 方法 |
损失函数¶
API名称 |
API功能 |
|---|---|
|
|
二值交叉熵损失值 |
|
|
logits二值交叉熵损失值 |
|
|
用于计算ctc损失 |
|
|
用于比较预测结果跟标签之间的相似度 |
|
|
层次sigmoid损失函数 |
|
|
用于计算L1损失 |
|
|
用于计算KL散度损失 |
|
|
用于计算负对数损失 |
|
为所有示例采样若干个样本，并计算每行采样张量的SoftMax标准化值，然后计算交叉熵损失 |
|
|
用于计算margin rank loss 损失 |
|
|
用于计算均方差误差 |
|
|
用于计算nll损失 |
|
|
成对数据损失计算 |
|
|
用于计算分类任务中前景类-背景类数量不均衡问题的损失 |
|
|
用于计算平滑L1损失 |
|
|
将softmax操作、交叉熵损失函数的计算过程进行合并 |
公用方法¶
API名称 |
API功能 |
|---|---|
|
|
用于生成仿射变换前后的feature maps的坐标映射关系 |
|
|
用于计算x1与x2沿axis维度的余弦相似度 |
|
|
计算输入input和标签label间的交叉熵 |
|
|
用于调整一个batch中图片的大小 |
|
|
标签平滑 |
|
|
将输入'x'中的每个id转换为一个one-hot向量 |
|
|
将Tensor重新排列 |
|
|
用于计算预测值和目标值的方差估计 |
|
|
对每一个卷积核覆盖下的区域，将元素重新排成一列 |
初始化相关¶
API名称 |
API功能 |
|---|---|
|
|
使用Numpy数组、Python列表、Tensor来初始化参数 |
|
|
该接口为参数初始化函数，用于转置卷积函数中 |
|
|
用于权重初始化，通过输入的value值初始化输入变量 |
|
|
实现Kaiming正态分布方式的权重初始化 |
|
|
实现Kaiming均匀分布方式的权重初始化 |
|
|
随机正态（高斯）分布初始化函数 |
|
|
用于设置Paddle框架中全局的参数初始化方法 |
|
|
随机截断正态（高斯）分布初始化函数 |
|
|
随机均匀分布初始化函数 |
|
|
实现Xavier权重初始化方法（ Xavier weight initializer） |
|
|
实现Xavier权重初始化方法（ Xavier weight initializer） |