一种基于离散序列浮点转换的神经元连接方法

1.本发明涉及卷积神经网络技术领域，具体来说涉及一种基于离散序列浮点转换的神经元连接方法。

背景技术：

2.人类正在进入信息时代，人工智能正不断兴起。计算机视觉是使用计算机及相关设备对生物视觉的一种模拟，是人工智能领域的一个重要部分。随着计算机视觉的发展，使用卷积神经网络(convolutional neural network)训练模型成为该行业的热点。卷积神经网络是计算机视觉的基石，它可用于图像分类、目标检测和语义分割等多种计算机视觉任务中。卷积神经网络主要包括数据输入层、卷积层、池化层以及全连接层，其网络结构中通常是经多个卷积层和池化层后，连接着1个或1个以上的全连接层。
3.一般而言，全连接层(fully connected layer)通常在卷积神经网络尾部，该层将前层(卷积层和池化层)计算得到的特征空间映射样本标记空间。全连接层中的每个神经元与其前一层的所有神经元进行全连接，可以整合卷积层或池化层中具有类别区分性的局部信息，减少特征位置对于分类结果的影响。全连接层每个神经元的激励函数一般采用relu函数，最后一层全连接层的输出值可以采用softmax逻辑回归进行分类。由于全连接层全相连的特性，一般全连接层的参数也是最多的。全连接层的参数问题主要体现在两方面。其一，全连接层参数量过大，约占整个网络参数量的80％，导致训练和测试的计算量大；其二，其参数量冗余，容易导致过拟合。
4.在农业领域，使用移动端设备进行植物病害识别变得越加重要，这就要求用于移动端的网络模型轻量化。而在现有的网络模型中，由于全连接层的参数量冗余、计算负担过重，全连接层不适合轻量化模型中使用，现有的解决方法为参数剪枝，即设计对网络参数的评价准则，并以此为根据删除冗余参数以减少全连接层的计算量。参数剪枝可减少神经元连接的个数，防止模型过拟合，但参数剪枝过后会导致网络模型结构不完整且无法修复，降低植物病害识别模型的表现性能。因此，在保证植物病害识别模型的表现性能的前提下，如何降低全连接层的计算负担，是本领域的重要技术课题之一。针对此，石河子大学cn114049517a公开了一种基于fpga的棉株和杂草的图像分类识别检测方法，此方法使用量化感知训练方法量化网络模型，设置了一个具有大量乘法器的加工原件进行全连接计算，将输入神经元和权重通过展平和连接处理成定制形式，在计算过程中重用输入神经元，减少了模型大小。此方法虽然减少了神经元连接的个数，但整体降低幅度不大，模型参数量个数仍然非常庞大，无法满足模型轻量化的需求。

技术实现要素：

5.本发明的目的在于克服上述缺点而提供的一种能有效减少全连接层的参数，适应模型轻量化要求的基于离散序列浮点转换的新型神经元连接方法。
6.为实现上述目的，本发明技术方案如下：
7.本发明的一种基于离散序列浮点转换的新型神经元连接方法，包括以下步骤：
8.(1)从图像数据集中获取原始图像数据，选取现有的卷积神经网络模型，将模型的全连接层以及预测层去除后，得到最终网络模型，将原始图像数据直接输入至所述最终网络模型中进行计算，经过网络中的卷积层、激活层以及池化层，通过卷积对图像的特征进行提取，得到由大量卷积核提取得到的特征序列；
9.(2)对长度为length的特征序列进行分区，每个区间的长度为4，对每个区间按照起始位置进行编号，按照每个区间中浮点元素起始位置，对每个区间中的浮点元素进行位置编号，编号为0,1,2,3，按照区间中每个浮点元素的位置编号，出每个区间中数值最大的浮点元素所对应的位置编号，将每个区间的最大数值编号重新组合为长度为length/4的数组，大小为：[1
×
length/4]，判断该数组长度是否为奇数，若该数组长度为奇数则跳过，若该数组长度是偶数，则在数组最后添加一个节点，节点中的数值为0，至此得到位置特征标记序列αn，此步操作设为函数a(xn)，此步骤数学表达为：a(xn)＝αn，其中：αn是位置特征标记序列，xn表示原始图像数据经过最终网络模型得到的特征序列；
[0010]
(3)构造长度为奇数的10阶等比数组βn，10阶矩阵的长度与αn的长度相同，该数组中间元素的值为1，数组中元素表示为β0,β1,β2……
βn，此操作的数学表达为将步骤(2)得到的位置特征标记序列αn与10阶等比矩阵进行内积，将维度降低为一，得到高维特征浮点信息δ；
[0011]
(4)可学习整数序列中的所有元素均为整数，整数取值范围为0～9，且随机取值，该序列长度与步骤(2)中特征标记奇序列长度相同，该序列表示为εn，将εn与步骤(3)得到的10阶等比矩阵进行内积，将维度降低为一，得到高维可学习浮点信息γ；
[0012]
(5)将高维可学习浮点信息与高维特征浮点信息相乘得到维度为一、量级为10
x
的超高维浮点特征信息，用符号表示为y，该信息由特征序列聚合而来，具有原始图像数据的超高层特征信息，且具有丰富的抽象语言信息；
[0013]
(6)对步骤(5)得到的超高维浮点特征信息y进行解码操作，得到长度为为n的解码序列μ，解码序列中元素表示为μ0,μ1…
μ
n-1
,μn，此步操作设为函数b(y)，此步骤数学表达为此操作的数学表达为b(y)＝μ
[0014][0015]
其中：10
x
为超高维浮点特征信息y的量级；
[0016]
上述的一种基于离散序列浮点转换的新型神经元连接方法，其中：步骤(1)所述现有模型为分类网络模型。
[0017]
上述的一种基于离散序列浮点转换的新型神经元连接方法，其中：步骤(1)中的图像数据集为现有数据集或基于待提取图像数据集。所述现有数据集为imagenet图像数据集。
[0018]
上述的一种基于离散序列浮点转换的新型神经元连接方法，其中：步骤(4)中所述的可学习整数序列中的整数为整数型可学习参数，可通过网络的迭代进行更新。
[0019]
本发明与现有技术相比，具有明显的有益效果，从以上技术方案可知：本发明对卷积神经网络中存在参数过多的全连接神经元方法进行优化，通过对卷积对图像的特征进行提取，得到由大量卷积核提取得到的特征序列，对特征序列进行位置标记并分区，构造10阶等比数组与可学习整数序列，利用聚合的思路，对离散序列进行浮点转换，将特征序列的数据维度缩减为一，从而有效地降低现有的神经网络模型对算力的要求，提高神经网络的设备迁移能力。。能有效减少全连接层的参数，适应模型轻量化，本发明可用于植物病害等识别的移动端设备中。
附图说明
[0020]
图1为本发明的流程图；
[0021]
图2为本发明的10阶矩阵示意图。
具体实施方式
[0022]
以下结合附图及较佳实施例，对依据本发明提出的一种基于离散序列浮点转换的神经元连接方法的具体实施方式、结构、特征及其功效，详细说明如后。
[0023]
实施例1
[0024]
参见图1，本发明的一种基于离散序列浮点转换的神经元连接方法，包括以下步骤：
[0025]
(1)从imagenet图像数据集中获取原始图像数据，选取现有的vgg卷积神经网络模型，将模型的全连接层以及预测层去除后，得到最终网络模型，将原始图像数据直接输入至所述最终网络模型中进行计算，经过网络中的卷积层、激活层以及池化层，通过卷积对图像的特征进行提取，得到由大量卷积核提取得到的特征序列；
[0026]
(2)对长度为4096的特征序列进行分区，每个区间的长度为4，对每个区间按照起始位置进行编号，按照每个区间中浮点元素起始位置，对每个区间中的浮点元素进行位置编号，编号为0,1,2,3，按照区间中每个浮点元素的位置编号，出每个区间中数值最大的浮点元素所对应的位置编号，将每个区间的最大数值编号重新组合为长度为1024的数组，大小为：[1
×
1024]，判断该数组长度是否为奇数，若该数组长度为奇数则跳过，若该数组是长度是偶数，则在数组最后添加一个节点，节点中的数值为0，至此得到位置特征标记序列αn，此步操作设为函数a(xn)，此步骤数学表达为：a(xn)＝αn，其中：αn是位置特征标记序列，xn表示原始图像数据经过最终网络模型得到的特征序列；
[0027]
(3)参见图2，构造长度为奇数的10阶等比数组βn，10阶矩阵的长度与αn的长度相同，该数组中间元素的值为1，数组中元素表示为β0,β1,β2……
βn，此操作的数学表达为将步骤(2)得到的位置特征标记序列αn与10阶等比矩阵进行内积，将维度降低为一，得到高维特征浮点信息δ；
[0028]
(4)可学习整数序列中的所有元素均为整数(为整数型可学习参数，可通过网络的迭代进行更新)，整数取值范围为0～9，且随机取值，该序列长度与步骤(3)中特征标记奇序列长度相同，该序列表示为εn，将εn与步骤(2)得到的10阶等比矩阵进行内积，将维度降低为
一，得到高维可学习浮点信息γ；
[0029]
(5)将高维可学习浮点信息与高维特征浮点信息相乘得到维度为一、量级为10
x
的超高维浮点特征信息，用符号表示为y，该信息由特征序列聚合而来，具有原始图像数据的超高层特征信息，且具有丰富的抽象语言信息；
[0030]
(6)对步骤(5)得到的超高维浮点特征信息y进行解码操作，得到长度为为1000的解码序列μ，解码序列中元素表示为μ0,μ1…
μ
n-1
,μn，此步操作设为函数b(y)，此步骤数学表达为此操作的数学表达为b(y)＝μ
[0031][0032]
其中：10
x
为超高维浮点特征信息y的量级。
[0033]
实施例2
[0034]
参见图1，本发明的一种基于离散序列浮点转换的神经元连接方法，包括以下步骤：
[0035]
(1)从苹果病虫害图像数据集中获取原始图像数据，选取现有的resnet卷积神经网络模型，将模型的全连接层以及预测层去除后，得到最终网络模型，将原始图像数据直接输入至所述最终网络模型中进行计算，经过网络中的卷积层、激活层以及池化层，通过卷积对图像的特征进行提取，得到由大量卷积核提取得到的特征序列；
[0036]
(2)对长度为2048的特征序列进行分区，每个区间的长度为4，对每个区间按照起始位置进行编号，按照每个区间中浮点元素起始位置，对每个区间中的浮点元素进行位置编号，编号为0,1,2,3，按照区间中每个浮点元素的位置编号，出每个区间中数值最大的浮点元素所对应的位置编号，将每个区间的最大数值编号重新组合为长度为512的数组，大小为：[1
×
512]，判断该数组长度是否为奇数，若该数组长度为奇数则跳过，若该数组是长度是偶数，则在数组最后添加一个节点，节点中的数值为0，至此得到位置特征标记序列αn，此步操作设为函数a(xn)，此步骤数学表达为：a(xn)＝αn，其中：αn是位置特征标记序列，xn表示原始图像数据经过最终网络模型得到的特征序列；
[0037]
(3)参见图2，构造长度为奇数的10阶等比数组βn，10阶矩阵的长度与αn的长度相同，该数组中间元素的值为1，数组中元素表示为β0,β1,β2……
βn，此操作的数学表达为将步骤(2)得到的位置特征标记序列αn与10阶等比矩阵进行内积，将维度降低为一，得到高维特征浮点信息δ；
[0038]
(4)可学习整数序列中的所有元素均为整数(为整数型可学习参数，可通过网络的迭代进行更新。)，整数取值范围为0～9，且随机取值，该序列长度与步骤(3)中特征标记奇序列长度相同，该序列表示为εn，将εn与步骤(2)得到的10阶等比矩阵进行内积，将维度降低为一，得到高维可学习浮点信息γ；
[0039]
(5)将高维可学习浮点信息与高维特征浮点信息相乘得到维度为一、量级为10
x
的超高维浮点特征信息，用符号表示为y，该信息由特征序列聚合而来，具有原始图像数据的
超高层特征信息，且具有丰富的抽象语言信息；
[0040]
(6)对步骤(5)得到的超高维浮点特征信息y进行解码操作，得到长度为为500的解码序列μ，解码序列中元素表示为μ0,μ1…
μ
n-1
,μn，此步操作设为函数b(y)，此步骤数学表达为此操作的数学表达为b(y)＝μ
[0041][0042]
其中：10
x
为超高维浮点特征信息y的量级。
[0043]
实施例3
[0044]
参见图1，本发明的一种基于离散序列浮点转换的神经元连接方法，包括以下步骤：
[0045]
(1)从水稻真菌病害图像数据集中获取原始图像数据，选取现有的vgg16卷积神经网络模型，将模型的全连接层以及预测层去除后，得到最终网络模型，将原始图像数据直接输入至所述最终网络模型中进行计算，经过网络中的卷积层、激活层以及池化层，通过卷积对图像的特征进行提取，得到由大量卷积核提取得到的特征序列；
[0046]
(2)对长度为4096的特征序列进行分区，每个区间的长度为4，对每个区间按照起始位置进行编号，按照每个区间中浮点元素起始位置，对每个区间中的浮点元素进行位置编号，编号为0,1,2,3，按照区间中每个浮点元素的位置编号，出每个区间中数值最大的浮点元素所对应的位置编号，将每个区间的最大数值编号重新组合为长度为1024的数组，大小为：[1
×
1024]，判断该数组长度是否为奇数，若该数组长度为奇数则跳过，若该数组是长度是偶数，则在数组最后添加一个节点，节点中的数值为0，至此得到位置特征标记序列αn，此步操作设为函数a(xn)，此步骤数学表达为：a(xn)＝αn，其中：αn是位置特征标记序列，xn表示原始图像数据经过最终网络模型得到的特征序列；
[0047]
(3)参见图2，构造长度为奇数的10阶等比数组βn，10阶矩阵的长度与αn的长度相同，该数组中间元素的值为1，数组中元素表示为β0,β1,β2……
βn，此操作的数学表达为将步骤(2)得到的位置特征标记序列αn与10阶等比矩阵进行内积，将维度降低为一，得到高维特征浮点信息δ；
[0048]
(4)可学习整数序列中的所有元素均为整数(为整数型可学习参数，可通过网络的迭代进行更新。)，整数取值范围为0～9，且随机取值，该序列长度与步骤(3)中特征标记奇序列长度相同，该序列表示为εn，将εn与步骤(2)得到的10阶等比矩阵进行内积，将维度降低为一，得到高维可学习浮点信息γ；
[0049]
(5)将高维可学习浮点信息与高维特征浮点信息相乘得到维度为一、量级为10
x
的超高维浮点特征信息，用符号表示为y，该信息由特征序列聚合而来，具有原始图像数据的超高层特征信息，且具有丰富的抽象语言信息；
[0050]
(6)对步骤(5)得到的超高维浮点特征信息y进行解码操作，得到长度为为1000的解码序列μ，解码序列中元素表示为μ0,μ1…
μ
n-1
,μn，此步操作设为函数b(y)，此步骤数学表达为此操作的数学表达为b(y)＝μ
[0051][0052]
其中：10
x
为超高维浮点特征信息y的量级。
[0053]
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，任何未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

技术特征：

1.一种基于离散序列浮点转换的新型神经元连接方法，包括以下步骤：(1)从图像数据集中获取原始图像数据，选取现有的卷积神经网络模型，将模型的全连接层以及预测层去除后，得到最终网络模型，将原始图像数据直接输入至所述最终网络模型中进行计算，经过网络中的卷积层、激活层以及池化层，通过卷积对图像的特征进行提取，得到由大量卷积核提取得到的特征序列；(2)对长度为length的特征序列进行分区，每个区间的长度为4，对每个区间按照起始位置进行编号，按照每个区间中浮点元素起始位置，对每个区间中的浮点元素进行位置编号，编号为0,1,2,3，按照区间中每个浮点元素的位置编号，出每个区间中数值最大的浮点元素所对应的位置编号，将每个区间的最大数值编号重新组合为长度为length/4的数组，大小为：[1
×
length/4]，判断该数组长度是否为奇数，若该数组长度为奇数则跳过，若该数组长度是偶数，则在数组最后添加一个节点，节点中的数值为0，至此得到位置特征标记序列α
n
，此步操作设为函数a(x
n
)，此步骤数学表达为：a(x
n
)＝α
n
，其中：α
n
是位置特征标记序列，x
n
表示原始图像数据经过最终网络模型得到的特征序列；(3)构造长度为奇数的10阶等比数组β
n
，10阶矩阵的长度与α
n
的长度相同，该数组中间元素的值为1，数组中元素表示为此操作的数学表达为将步骤(2)得到的位置特征标记序列α
n
与10阶等比矩阵进行内积，将维度降低为一，得到高维特征浮点信息δ；(4)可学习整数序列中的所有元素均为整数，整数取值范围为0～9，且随机取值，该序列长度与步骤(2)中特征标记奇序列长度相同，该序列表示为ε
n
，将ε
n
与步骤(3)得到的10阶等比矩阵进行内积，将维度降低为一，得到高维可学习浮点信息γ；(5)将高维可学习浮点信息与高维特征浮点信息相乘得到维度为一、量级为10
x
的超高维浮点特征信息，用符号表示为y，该信息由特征序列聚合而来，具有原始图像数据的超高层特征信息，且具有丰富的抽象语言信息；(6)对步骤(5)得到的超高维浮点特征信息y进行解码操作，得到长度为为n的解码序列μ，解码序列中元素表示为μ0,μ1…
μ
n-1
,μ
n
，此步操作设为函数b(y)，此步骤数学表达为此操作的数学表达为b(y)＝μ其中：10
x
为超高维浮点特征信息y的量级。2.如权利要求1所述的一种基于离散序列浮点转换的新型神经元连接方法，其中：步骤(1)所述现有模型为分类网络模型。3.如权利要求1所述的一种基于离散序列浮点转换的新型神经元连接方法，其中：步骤(1)中的图像数据集为现有数据集或基于待提取图像数据集。4.如权利要求3所述的一种基于离散序列浮点转换的新型神经元连接方法，其中：所述的现有数据集为imagenet图像数据集。5.如权利要求1所述的一种基于离散序列浮点转换的新型神经元连接方法，其中：步骤
(4)中所述的可学习整数序列中的整数为整数型可学习参数，可通过网络的迭代进行更新。

技术总结

本发明公开了一种基于离散序列浮点转换的新型神经元连接方法，包括通过对卷积对图像的特征进行提取，得到由大量卷积核提取得到的特征序列，对特征序列进行位置标记并分区，构造10阶等比数组与可学习整数序列，利用聚合的思路，对离散序列进行浮点转换，将特征序列的数据维度缩减为一。本发明能有效减少全连接层的参数，适应模型轻量化要求。适应模型轻量化要求。适应模型轻量化要求。