卷积网络中的可学习参数有哪些？

卷积⽹络中的可学习参数有哪些？

（1）卷积层

卷积层的参数就是卷积核的总数加上偏置数，例如⼀个14* 14* 6 (6为通道数)的特征图，经过5* 5* 16的卷积核，那么这层的参数为5* 5* 16* 6+16=2416个参数(注意要乘上⼀层的通道数)。

猫课堂实录（2）池化层

池化层很有意思的特点就是，它有⼀组超参数，但并没有参数需要学习。实际上，梯度下降没有什么可学的，⼀旦确定了kernel的stride，它就是⼀个固定运算，梯度下降⽆需改变任何值。

（3）全连接层

全连接也有偏置的，例如⼀个5* 5* 16 (16是通道数)的特征图后⾯接⼀个120个节点的全连接层，那么这层全连接层的参数总共为5* 5* 16*120+120 =48120个参数。

一般等价物附上pytorch打印出来的参数值：

加雷沙星params = list(net.parameters())

print(len(params))

for i in range(10):

print(params[i].size())bbc全景

输出：

torch.Size([6, 1, 5, 5])

torch.Size([6])

torch.Size([16, 6, 5, 5])

马延春torch.Size([16])

torch.Size([120, 400])

torch.Size([120])

torch.Size([84, 120])

torch.Size([84])

广西北部湾新闻

torch.Size([10, 84])

torch.Size([10])

本文发布于:2024-09-21 17:57:48，感谢您对本站的认可！

标签：参数梯度没有下降偏置学习

留言与评论（共有 0 条评论）