作者：***
来源：《计算机应用文摘》2022年第05期
關键词 自编码预训练 卷积神经网络 迁移学习
1基于自编码预训练的卷积神经网络的分类
1.1自编码的原理
自编码神经网络（见图1）是一个输入与输出相等的人工神经网络。在该网络中，左侧节点是输入层，右侧神经元是输出层，中间是隐含层。输出层的神经元数量等于输入层的神经元数量。隐藏层的神经元数量少于输出层的神经元数量。 自编码器的工作原理如图2 所示。其中，输入层和隐含层之间的参数叫作“编码器”（encoder），隐含层和输出层之间的参数叫作“解码器”（decoder）。通过对编码和解码的参数进行调整和优化，可以使模型最小化，从而学习重构误差[1] 。当模型完成最小化后，得到输入信息的一个特征表示，即特征编码。 卷积编码 1.2基于自编码初始参数获取的卷积神经网络
卷积神经网络通过标记数据对一定结构的网络进行训练。当卷积神经网络对图像进行分类时，输入图像通过若干层的卷积和池化提取高层次特征，并利用softmax 进行分类，从而判定输入图像的类别。图像的分类过程如图3 所示。 通过自编码预训练可为卷积神经网络的卷积层提供初值，而不需要大量标记样本。在每层卷积中，将与本层卷积核大小相同的小图像作为自编码网络的输入xi ，输出x^i 为输入
小图像的特征，将此特征重新排列为ξ^，作为本层卷积核的初始系数，得到本层卷积核之后，进入池化层（可要可不要）和激活层，此时不需要训练初始参数。
下一个卷积层重复上述过程，不过本层的输入是上层输出的结果，上层若含有m 个特征，本层的输入就为m 维矩阵，图像大小为：
在式（1）中，InputSize 代表每层输入图像的大小，filterSize 代表卷积和池化的大小，pad 代表在图像边缘补零的大小，stride 代表步长。由式（1）计算出每层输出的图像大小，从m 维图像中分割出若干小图像，小图像和本层的卷积核大小相同，将小图像作为自编码网络的输入，从而进行训练。依此类推，凡是有卷积的隐含层和全连接层，就用自编码进行训练，以获取卷积核的初始参数。将自编码训练的初始参数进行组合，得到卷积神经网络的预训练模型，此模型的参数只是在每一层最优，全局并不最优。用少量的标记样本进行参数微调，使卷积核参数实现全局最优[2] ，进而得到适合实验数据分类的模型。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议