最近⾃⼰会把⾃⼰个⼈博客中的⽂章陆陆续续的复制到CSDN上来，欢迎⼤家关注我的 ，以及我的。
本⽂主要讲解有关⾃编码器、深度信念⽹络和深度玻尔兹曼机的相关知识。
⼀、⾃编码器
1. ⾃编码器
⾃编码器（auto-encoder，AE）是⼀个只有⼀个隐藏层的神经⽹络，它先对输⼊x进⾏编码，再对编码结果进⾏解码，我们希望能够得到和输⼊x⾮常相似的输出y（最理想情况就是输⼊和输出完全⼀样）。则编码所得到的结果就可以看作是该输⼊数据的特征。对于该⽬标更新 ⽹络参数，从⽽使其效果达到最优，这就构建了⼀个⾃解码器。
稀疏编码
如上图所⽰，从输⼊x到隐藏层a之间就是编码过程，从隐藏层a到输出y之间就是解码过程。更具体的，，，是输⼊层和隐藏层之间的权重，是输⼊层和隐藏层之间的偏置，是隐藏层和输出层之间的权重，是隐藏层和输出层之间的偏置，是激活函数。我们的⽬标是使得 。为了评价输出值与真实值（输⼊值）之间的误差，还需要设置⼀个损失函数 。
2. 稀疏⾃编码器
从⾃动编码器获得有⽤特征的⼀种⽅法是限制隐藏层的节点个数⽐输⼊层少，这样将使⾃动编码器捕捉训练数据中最显著的特征，这样的⾃动编码器叫稀疏⾃编码器（sparse auto-encoder）。也就是说⽤少量的特征就可以还原原始输⼊数据。与普通的⾃编码器不同的是，稀疏⾃编码器中的总损失函数为：
其中是稀疏控制参数，是隐藏层节点的个数，是KL散度，⼜称相对熵，其定义如下：式中，表⽰隐藏层第j个节点的平均活跃度，表⽰⽬标平均活跃度。3. 堆栈⾃编码器
a =f (W x +1
b )1y =W a +2b 2W 1b 1W 2b 2f ()y ≈x E (x ,y )J (W ,b )=E (x ,y )+γKL (ρ∣∣)j ∑D H ρ
j ^γD H KL (ρ∣∣)ρ
j ^KL (ρ∣∣)=ρ
j ^ρlog +ρj ^ρ(1−ρ)log 1−ρj ^1−ρρ
j ^ρ
简单来说，堆栈⾃编码器（stacked auto-encoder，SAE）就是将多个⾃编码器串联堆叠起来，将前⼀个⾃编码器的输出作为下⼀个⾃编码器的输⼊进⾏训练。这样做的⽬的是通过加深⽹络的层数，从⽽
提取到输⼊数据更加抽象的特征。由于对⽹络的权重进⾏随机初始化时容易发⽣陷⼊局部最优解（⽽不是全局最优解）的问题，对此采取的办法是进⾏预训练（pretraining），它的思想是对⽹络逐层进⾏训练，只考虑相邻两层从⽽得到最优的参数，并把该参数作为权重初始化的值（微调）。
对于分类问题来说，还需要在SAE的基础上另加⼀个额外的输出层，从⽽输出是某⼀类别的可能性⼤⼩。此时只有原SAE中的初始参数是通过预训练得到，⽽新输出层和旧输出层之间的初始参数随机赋值得到。
⼆、深度信念⽹络和深度玻尔兹曼机
1. 受限玻尔兹曼机
受限玻尔兹曼机（restricted Boltzmann machines, RBM）的本质是⼀种⾃编码器，它由可视层和隐藏层组成，可视层其实就是输⼊层，只不过名称不同。可视层和隐藏层之间的神经元采⽤对称的全连接，⽽层内的神经元之间没有连接。所有的神经元只有1和0两种状态，分别表⽰激活和未激活。
在RBM中还有⼀些能量函数和概率函数等，但是我⽬前还没有搞懂它们的作⽤，所以就不详细介绍了，想了解更多请参考。由于最后推导得出的公式⽐较难计算，所以⼜提出了通过Gibbs（吉布斯）采样的⽅法来近似计算，后来还提出了对⽐散度（contrastive divergence）算法更⾼效的⽅式来近似计算。
2. 深度信念⽹络
深度信念（置信）⽹络（deep belief network, DBN）类似于堆栈⾃编码器，置信就是可能性的意思。它的思想是把多个受限玻尔兹曼机串联堆叠起来形成⼀个更深的⽹络，其顶部两层（靠近输出层的层）之间的连接是双向的，⽽其他所有层之间的连接是单向的，箭头指向最接近数据的层。类似于堆栈⾃编码器，在对该模型进⾏训练时，也可以采⽤预训练的⽅式来避免陷⼊局部最优解。
3. 深度玻尔兹曼机
深度玻尔兹曼机（deep Boltzmann machines, DBM）与深度信念⽹络类似，都是右多个受限玻尔兹曼机串联堆叠⽽形成的⼀个深层神经⽹络，与深度信念⽹络相区别的是DBM的任意两层之间都是双向连接的。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议