一种基于特征解耦网络的静脉识别方法

1.本发明涉及生物特征识别领域，具体涉及一种基于特征解耦网络的静脉识别方法。

背景技术：

2.手部静脉识别技术在生物特征识别方面有着非常广阔的应用前景，是当前生物特征识别领域的研究热点。手部静脉识别系统包括静脉图像采集、静脉图像预处理、特征提取和特征匹配等几个主要步骤，静脉图像特征提取算法作为静脉识别系统最重要的步骤之一，其效果直接影响静脉识别系统的性能。近些年，深度卷积神经网络已经广泛应用于大规模图像识别任务，并且取得了优异的结果。但是其表征学习能力严重依赖于训练样本的数量，因此，在小样本静脉识别任务上并不能取得领先的效果。为了提升基于深度学习的静脉识别方法效果，wang等人构建一种层级的跨领域知识迁移策略，通过逐步学习静脉图像相近领域的共性特征，提高深度卷积神经网络模型对于静脉图像的表征学习能力，解决在直接使用静脉小样本数据库训练网络模型时易产生过拟合的问题(wang j,wang g q,zhou m.bimodal vein data mining via cross-selective-domain knowledge transfer.ieee transactions on information forensics and security,2018,13(3):733-744.)。huang等人提出了一种联合注意力模块，可以有效增强深度卷积神经网络对于静脉图像细节信息的表征学习能力，提升静脉深度特征的判别能力。(huang j d,tu m,yang w l,kang w x.joint attention network for finger vein authentication.ieee transactions on instrumentation and measurement,2021,70:2513911.)。虽然上述模型取得了良好的识别结果，但是并没有充分利用静脉信息的分布特性。因此，基于深度学习的静脉识别方法还需要进一步研究，算法的性能还有待提高。

技术实现要素：

3.本发明的目的在于提供一种基于特征解耦网络的静脉识别方法，减少纹理信息中光照信息对于静脉深度特征表示能力的影响，增强静脉纹理特征和形状特征的融合效果，提高静脉识别方法的性能。
4.实现本发明目的的技术解决方案为：一种基于特征解耦网络的静脉识别方法，包括以下步骤：
5.步骤1、采集a个志愿者的右手手背静脉图像，10＜a＜1000，每个志愿者采集b张图像，10＜b＜1000，共采集n张手背静脉图像，n＝ab，100＜n＜100000，通过归一化处理，得到像素大小为h
×
w的n张手背静脉图像，构成训练样本集，记为i，转入步骤2。
6.步骤2、构建高鲁棒性静脉图像分割模型，获取静脉训练样本形状特征的二值标签信息，转入步骤3。
7.步骤3、构建静脉形状编码器和静脉形状生成器，利用静脉形状特征二值标签作为静脉形状生成器的监督信息，使得静脉形状编码器能够提取静脉训练样本的形状特征，转
入步骤4。
8.步骤4、构建静脉纹理编码器和图像重建生成器，利用输入静脉图像作为图像重建生成器的监督信息，使得静脉纹理编码器能够提取静脉训练样本的纹理特征；完成静脉图像形状和纹理特征的解耦，转入步骤5。
9.步骤5、构建权值引导的静脉深度特征学习模块，对解耦后的纹理特征和形状特征进行权值融合，以获取用于静脉识别的高判别静脉深度特征，转入步骤6。
10.步骤6、利用静脉训练样本集训练静脉形状编码器、静脉纹理编码器、静脉形状生成器、图像重建生成器和静脉深度特征学习模块，转入步骤7。
11.步骤7、采集p个志愿者的右手手背静脉图像，10＜p＜1000，每个志愿者采集q张图像，10＜q＜1000，共采集m张手背静脉图像，m＝pq，100＜m＜100000，通过归一化处理，得到像素大小为h
×
w的m张手背静脉图像，构成测试样本集，转入步骤8。
12.步骤8、将测试样本集中的静脉图像输入到训练好的静脉纹理编码器、静脉形状编码器和静脉深度特征学习模块，实现静脉图像的身份信息识别。
13.与现有技术相比，本发明的优点在于：
14.1)目前现有的静脉识别算法大多数单一的提取静脉图像的形状信息或者纹理信息，并没有充分分析静脉图像的形状信息和纹理信息对于静脉识别模型性能的影响。本发明提出了基于特征解耦网络的手部静脉识别方法，探究了静脉图像纹理特征和形状特征对于身份信息识别效果的影响机制，减少了纹理信息中光照信息对于静脉深度特征表示能力的影响。
15.2)本发明设计了高鲁棒性静脉图像分割模型，获取了输入静脉图像的高质量静脉形状特征二值分割图。
16.3)相比现有的静脉识别算法，本发明结合静脉信息独特分布特性，构建了基于多尺度注意力残差模块的静脉形状纹理特征解耦网络，实现了静脉图像纹理和形状特征的自适应解耦。
17.4)本发明提出了权值引导的高判别深度特征学习模块，能够动态融合解耦后的形状和纹理特征，增强了静脉深度特征的表示能力，进而提高了手部静脉图像识别算法的性能和泛化能力。
附图说明
18.图1为本发明基于特征解耦网络的静脉识别方法的流程图。
19.图2为本发明基于特征解耦网络的静脉识别方法的模型图。
20.图3为采集的手背静脉图像。
21.图4为4个方向的谷型运算子，(a)45
°
方向；(b)135
°
方向；(c)水平方向；(d)竖直方向。
22.图5为八种基于深度特征的静脉识别方法与本发明提出方法的对比实验结果图。
具体实施方式
23.为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
24.结合图1，一种基于特征解耦网络的静脉识别方法，包括以下步骤：
25.步骤1、采集a个志愿者的右手手背静脉图像，10＜a＜1000，每个志愿者采集b张图像，10＜b＜1000，共采集n张手背静脉图像，n＝ab，100＜n＜100000，通过归一化处理，得到像素大小为h
×
w的n张手背静脉图像，构成训练样本集，记为i，转入步骤2。
26.步骤2、构建高鲁棒性静脉图像分割模型，获取静脉训练样本形状特征的二值标签信息：
27.高鲁棒性静脉图像分割模型的构建方法如下：
28.s2.1，初步去除输入静脉图像的噪音信息，得到去噪后的静脉图像g(x,y)：
[0029][0030]
式中，μ为5
×
5滑动窗口的均值，σ2为5
×
5滑动窗口的方差，v2代表局部噪音信息方差，其值为所有局部方差的平均值，i(x，y)为输入的静脉图像；
[0031]
s2.2，利用4个方向的谷型运算子对去噪后的静脉图像g(x，y)进行静脉信息增强，随后选择4个增强后的静脉图像相应位置的最大像素值，作为最终静脉信息增强图像的灰度值，如式(2)所示：
[0032]g′
(x，y)＝max{f1(x，y)，f2(x，y)，f3(x，y)，f4(x，y)}
ꢀꢀꢀꢀ
(2)
[0033]
式中，f1(x，y)，f2(x，y)，f3(x，y)，f4(x，y)分别对应表示经过45
°
、135
°
、水平方向和竖直方向谷型运算子增强后的静脉图像，g
′
(x，y)为融合后的静脉增强图像；
[0034]
s2.3，进一步去除静脉增强图像中的噪音信息和非静脉信息，具体操作如下：
[0035][0036]
式中，gmean为5
×
5滑动窗口的均值，g
″
(x，y)为处理后的静脉图像；
[0037]
s2.4，通过式(4)判断每个像素值的分割阈值，具体如下：
[0038][0039]
式中，t(x，y)为静脉图像中像素点(x，y)的分割阈值，avg(x，y)为41
×
41滑动窗口的均值，其值为g(x，y)为像素点(x，y)的梯度值，rg为全局最大梯度值，i和j为变量，0≤i≤h，0≤j≤h；动态参数大梯度值，i和j为变量，0≤i≤h，0≤j≤h；动态参数其中，gra(x，y)为41
×
41滑动窗口的局部最大梯度值，其中系数b和系数c分别被设置为0.01和0.02；
[0040]
s2.5，将g
″
(x，y)中每个像素值与分割阈值t(x，y)进行比较，若大于分割阈值则判定为静脉信息，若小于阈值则判定为非静脉信息。
[0041]
转入步骤3。
[0042]
步骤3、构建静脉形状编码器和静脉形状生成器，利用静脉形状特征二值标签作为静脉形状生成器的监督信息，使得静脉形状编码器能够提取静脉训练样本的形状特征。
[0043]
静脉形状编码器和静脉形状生成器的网络框架构建如下：
[0044]
静脉形状编码器包含5个多尺度注意力残差模块、5个最大池化层和1个卷积核为8
×
8的卷积层；静脉形状生成器主要包含6个上采样层、5个多尺度注意力残差模块、1个卷积核为3
×
3的卷积层和1个sigmoid激活函数。
[0045]
多尺度注意力残差模块的构建方法如下：
[0046]
通过局部最大池化方法获取输入图像的三个尺度分支，得到低级输入特征，每个分支采用相同的卷积网络对不同尺度的低级输入特征进行特征映射，提取高级语义特征。通过多分支跨尺度信息融合方法，将不同分支之间的低级输入特征和高级语义特征进行跨尺度连接，通过特征级联的方式对多尺度特征进行融合，得到多尺度融合特征。
[0047]
多尺度特征融合模块具体表示如下，使用局部最大池化的方法获取不同尺度的图像，构建不同尺度的特征提取分支，如下式(5)所示：
[0048][0049]
其中，i为输入静脉图像；k是使用的最大尺度；pk(
·
)是局部最大池化函数，函数中卷积核大小为k
×
k，k为步长；是指输出的尺度的深度特征；k的取值是2的幂函数，故相邻尺度分支之间的大小相差2倍。
[0050]
通过局部最大池化方法获取3个不同尺度的分支后，对3个不同尺度分支的图像同时进行3
×
3卷积操作提取特征，得到不同尺度输入图像的高级语义特征；在每个尺度分支中，将高级语义特征与相邻分支的低级输入特征进行跨尺度连接，如式(6)所示：
[0051][0052]
其中，为当k＝1时对应的值。hn(
·
)是使用3
×
3卷积核操作之后的n组非线性激活函数；表示使用3
×
3卷积核操作之后得到的特征；uk(
·
)表示具有k
×
因子的上采样操作函数；f(
·
)表示特征通道层面的融合函数；c(
·
)特征级联函数，k为步长。
[0053]
然后通过特征级联的方式对三个跨尺度特征进行融合，如式(7)所示：
[0054][0055]
其中，z是所提出的多尺度融合连接之后的卷积块输出，f(
·
)表示特征通道层面的融合函数，c(
·
)特征级联函数。
[0056]
利用多尺度特征融合模块代替基本残差模块中的卷积层，并加入注意力机制，获得多尺度注意力残差模块，通道注意力机制主要用于筛选两个多尺度融合模块的特征，增大有效特征，减少冗余特征带来的计算量，注意力机制操作具体如表达式(8)所示：
[0057]z′
＝se(z)
ꢀꢀꢀꢀ
(8)
[0058]
其中，z表示第二个多尺度特征融合模块的输出，z
′
表示通道注意力机制se的输出，se(
·
)表示se操作。
[0059]
通过将输入的图像与通道注意力机制se输出的特征进行跳跃连接，与多尺度特征融合模块构成残差结构；
[0060]
msarb_out＝res(i，z
′
)
ꢀꢀꢀꢀ
(9)
[0061]
其中，i是静脉训练样本集，msarb_out表示多尺度注意力残差模块的输出，res(
·
)为残差网络结构。
[0062]
基于静脉形状特征二值标签信息，获取静脉训练样本的形状特征的具体过程如
下：
[0063]
利用静脉形状编码器e2提取输入静脉图像i(x，y)的形状特征，上述过程如下表示：
[0064]zs
＝e2(i)
ꢀꢀꢀꢀ
(10)
[0065]
其中，zs为静脉图像i(x，y)的形状特征，e2为静脉形状编码器；随后将形状特征zs输入到静脉形状生成器g2中，生成预测的静脉图像形状信息，通过与真实静脉图像的形状标签信息进行比较，使得静脉形状编码器可以学习到静脉形状特征的表征能力，具体过程可由式(11)和式(12)表示：
[0066]i′s＝g2(zs)
ꢀꢀꢀꢀ
(11)
[0067][0068]
其中，i
′s为静脉形状生成器g2生成的预测静脉形状特征，is为真实的静脉形状二值标签信息，ws和hs分别为形状二值标签图的宽度和高度，ls为静脉形状生成器的损失函数。
[0069]
转入步骤4。
[0070]
步骤4、构建静脉纹理编码器和图像重建生成器，利用输入静脉图像作为图像重建生成器的监督信息，使得静脉纹理编码器能够提取静脉训练样本的纹理特征；通过步骤3和步骤4完成静脉图像形状和纹理特征的解耦。
[0071]
静脉纹理编码器和图像重建生成器的网络框架构建如下：
[0072]
静脉纹理编码器主要包含5个多尺度注意力残差模块、5个最大池化层和1个卷积核为8
×
8的卷积层；图像重建生成器主要包含1个特征级联操作、6个上采样层、5个多尺度注意力残差模块、1个卷积核为3
×
3的卷积层和1个tanh激活函数。
[0073]
静脉训练样本的纹理特征获取过程如下：
[0074]
利用静脉纹理编码器提取输入静脉图像i(x，y)的纹理特征，上述过程如下表示：
[0075]zt
＝e1(i)
ꢀꢀꢀꢀꢀꢀꢀ
(13)
[0076]
其中，z
t
为静脉图像i(x，y)的纹理特征，e1为静脉纹理编码器；随后将形状特征zs和纹理特征z
t
进行级联，输入到图像重建生成器g1中，重建输入静脉图像，通过与真实的静脉图像进行比较，使得静脉纹理编码器可以学习到静脉纹理特征的表征能力，具体过程可由式(14)和式(15)所示：
[0077]i′
＝g1(concate(z
t
，zs))
ꢀꢀꢀꢀ
(14)
[0078]
lc＝|i-g1(concate(z
t
，zs))|＝|i-i
′
|
ꢀꢀꢀ
(15)
[0079]
其中，i
′
为图像重建生成器g1生成的静脉图像，lc为重建损失函数，|
·
|表示为机器学习中常用的l1损失函数，concate(
·
)表示特征级联操作。
[0080]
转入步骤5。
[0081]
步骤5、构建权值引导的静脉深度特征学习模块，对解耦后的纹理特征和形状特征进行权值融合，以获取用于静脉识别的高判别静脉深度特征。
[0082]
权值引导的静脉深度特征学习模块的网络结构如下：
[0083]
首先，对解耦后的纹理特征乘以权值系数a，随后再对解耦后的形状特征乘以1-a；其次，将经过权值加权后的静脉纹理特征和形状特征进行级联，获取融合后的高判别深度
特征，随后输入分类层进行身份信息识别，如式(16)所示：
[0084]zfusion
＝concate[a
·zt
，(1-a)
·zs
]
ꢀꢀꢀꢀ
(16)
[0085]
其中，z
fusion
为权值加权融合后的静脉深度特征，0≤a≤1；最后，通过调整权值系数a，得到不同权重融合下网络模型的识别率，选择网络模型最高识别率所对应的权值系数作为静脉纹理特征和形状特征融合的最优权重比；
[0086]
静脉深度特征学习模块的损失函数采用softmax，记为lr，则由静脉形状编码器、静脉纹理编码器、静脉形状生成器、图像重建生成器和静脉深度特征学习模块构成的总体网络模型的损失函数l
total
可由式(17)所示：
[0087]
l
total
＝λsls+λclc+λrlrꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(17)
[0088]
其中，λs、λc和λr为平衡不同损失函数的超参数，ls为静脉形状生成器的损失函数，lc为图像重建生成器的损失函数。
[0089]
转入步骤6。
[0090]
步骤6、利用静脉训练样本集训练静脉形状编码器、静脉纹理编码器、静脉形状生成器、图像重建生成器和静脉深度特征学习模块，转入步骤7。
[0091]
步骤7、采集p个志愿者的右手手背静脉图像，10＜p＜1000，每个志愿者采集q张图像，10＜q＜1000，共采集m张手背静脉图像，m＝pq，100＜m＜100000，通过归一化处理，得到像素大小为h
×
w的m张手背静脉图像，构成测试样本集，转入步骤8。
[0092]
步骤8、将测试样本集中的静脉图像输入到训练好的静脉纹理编码器、静脉形状编码器和静脉深度特征学习模块，实现静脉图像的身份信息识别。
[0093]
实施例1
[0094]
结合图1和图2，本发明所述的一种基于特征解耦网络的静脉识别方法，步骤如下：
[0095]
步骤1、采集286个志愿者的右手手背静脉图像，每个志愿者采集200张图像，共采集57200张手背静脉图像，通过归一化处理，得到像素大小为256
×
256的57200张手背静脉图像，构成训练样本集，如图3所示，记为i，转入步骤2。
[0096]
步骤2、构建高鲁棒性静脉图像分割模型，获取静脉训练样本形状特征的二值标签信息。
[0097]
高鲁棒性静脉图像分割模型的构建方法如下：
[0098]
s2.1，初步去除输入静脉图像的噪音信息，得到去噪后的静脉图像g(x,y)：
[0099][0100]
式中，μ为5
×
5滑动窗口的均值，σ2为5
×
5滑动窗口的方差，v2代表局部噪音信息方差，其值为所有局部方差的平均值，i(x,y)为输入的静脉图像。
[0101]
s2.2，利用4个方向的谷型运算子对去噪后的静脉图像g(x，y)进行静脉信息增强，随后选择4个增强后的静脉图像相应位置的最大像素值，作为最终静脉信息增强图像的灰度值，如式(2)所示：
[0102]g′
(x，y)＝max{f1(x，y)，f2(x，y)，f3(x，y)，f4(x，y)}
ꢀꢀꢀꢀꢀ
(2)
[0103]
式中，f1(x，y)，f2(x，y)，f3(x，y)，f4(x，y)分别对应表示经过45
°
、135
°
、水平方向和竖直方向谷型运算子增强后的静脉图像，g
′
(x，y)为融合后的静脉增强图像；
[0104]
s2.3，进一步去除静脉增强图像中的噪音信息和非静脉信息，具体操作如下：
[0105][0106]
式中，gmean为5
×
5滑动窗口的均值，g
″
(x，y)为处理后的静脉图像；
[0107]
s2.4，通过式(4)判断每个像素值的分割阈值，具体如下：
[0108][0109]
式中，t(x，y)为静脉图像中像素点(x，y)的分割阈值，avg(x，y)为41
×
41滑动窗口的均值，其值为g(x，y)为像素点(x，y)的梯度值，rg为全局最大梯度值，i和j为变量，0≤i≤h，0≤j≤h；动态参数大梯度值，i和j为变量，0≤i≤h，0≤j≤h；动态参数其中，gra(x，y)为41
×
41滑动窗口的局部最大梯度值，其中系数b和系数c分别被设置为0.01和0.02；
[0110]
s2.5，将g
″
(x，y)中每个像素值与分割阈值t(x，y)进行比较，若大于分割阈值则判定为静脉信息，若小于阈值则判定为非静脉信息。
[0111]
转入步骤3。
[0112]
步骤3、构建静脉形状编码器和静脉形状生成器，利用静脉形状特征二值标签作为静脉形状生成器的监督信息，使得静脉形状编码器能够提取静脉训练样本的形状特征。
[0113]
静脉形状编码器和静脉形状生成器的网络框架构建如下：
[0114]
静脉形状编码器包含5个多尺度注意力残差模块、5个最大池化层和1个卷积核为8
×
8的卷积层；静脉形状生成器主要包含6个上采样层、5个多尺度注意力残差模块、1个卷积核为3
×
3的卷积层和1个sigmoid激活函数。
[0115]
多尺度注意力残差模块的构建方法如下：
[0116]
通过局部最大池化方法获取输入图像的三个尺度分支，得到低级输入特征，每个分支采用相同的卷积网络对不同尺度的低级输入特征进行特征映射，提取高级语义特征。通过多分支跨尺度信息融合方法，将不同分支之间的低级输入特征和高级语义特征进行跨尺度连接，通过特征级联的方式对多尺度特征进行融合，得到多尺度融合特征。
[0117]
多尺度特征融合模块具体表示如下，使用局部最大池化的方法获取不同尺度的图像，构建不同尺度的特征提取分支，如下式(5)所示：
[0118][0119]
其中，i为输入静脉图像；k是使用的最大尺度；pk(
·
)是局部最大池化函数，函数中卷积核大小为k
×
k，k为步长；是指输出的尺度的深度特征；k的取值是2的幂函数，故相邻尺度分支之间的大小相差2倍。
[0120]
通过局部最大池化方法获取3个不同尺度的分支后，对3个不同尺度分支的图像同时进行3
×
3卷积操作提取特征，得到不同尺度输入图像的高级语义特征；在每个尺度分支中，将高级语义特征与相邻分支的低级输入特征进行跨尺度连接，如式(6)所示：
[0121][0122]
其中，为当k＝1时对应的值。hn(
·
)是使用3
×
3卷积核操作之
后的n组非线性激活函数；表示使用3
×
3卷积核操作之后得到的特征；uk(
·
)表示具有k
×
因子的上采样操作函数；f(
·
)表示特征通道层面的融合函数；c(
·
)特征级联函数，k为步长。
[0123]
然后通过特征级联的方式对三个跨尺度特征进行融合，如式(7)所示：
[0124][0125]
其中，z是所提出的多尺度融合连接之后的卷积块输出，f(
·
)表示特征通道层面的融合函数，c(
·
)特征级联函数。
[0126]
利用多尺度特征融合模块代替基本残差模块中的卷积层，并加入注意力机制，获得多尺度注意力残差模块，通道注意力机制主要用于筛选两个多尺度融合模块的特征，增大有效特征，减少冗余特征带来的计算量，注意力机制操作具体如表达式(8)所示：
[0127]
z＝se(z)
ꢀꢀꢀꢀ
(8)
[0128]
其中，z表示第二个多尺度特征融合模块的输出，z
′
表示通道注意力机制se的输出，se(
·
)表示se操作。
[0129]
通过将输入的图像与通道注意力机制se输出的特征进行跳跃连接，与多尺度特征融合模块构成残差结构；
[0130]
msarb_out＝res(i，z
′
)
ꢀꢀꢀꢀꢀꢀꢀ
(9)
[0131]
其中，i是静脉训练样本集，msarb_out表示多尺度注意力残差模块的输出，res(
·
)为残差网络结构。
[0132]
基于静脉形状特征二值标签信息，获取静脉训练样本的形状特征的具体过程如下：
[0133]
利用静脉形状编码器e2提取输入静脉图像i(x，y)的形状特征，上述过程如下表示：
[0134]zs
＝e2(i)
ꢀꢀꢀꢀ
(10)
[0135]
其中，zs为静脉图像i(x，y)的形状特征，e2为静脉形状编码器；随后将形状特征zs输入到静脉形状生成器g2中，生成预测的静脉图像形状信息，通过与真实静脉图像的形状标签信息进行比较，使得静脉形状编码器可以学习到静脉形状特征的表征能力，具体过程可由式(11)和式(12)表示：
[0136]i′s＝g2(zs)
ꢀꢀꢀꢀ
(11)
[0137][0138]
其中，i
′s为静脉形状生成器g2生成的预测静脉形状特征，is为真实的静脉形状二值标签信息，ws和hs分别为形状二值标签图的宽度和高度，ls为静脉形状生成器的损失函数。
[0139]
转入步骤4。
[0140]
步骤4、构建静脉纹理编码器和图像重建生成器，利用输入静脉图像作为图像重建生成器的监督信息，使得静脉纹理编码器能够提取静脉训练样本的纹理特征；通过步骤3和步骤4完成静脉图像形状和纹理特征的解耦。
[0141]
静脉纹理编码器和图像重建生成器的网络框架构建如下：
[0142]
静脉纹理编码器主要包含5个多尺度注意力残差模块、5个最大池化层和1个卷积核为8
×
8的卷积层；图像重建生成器主要包含1个特征级联操作、6个上采样层、5个多尺度注意力残差模块、1个卷积核为3
×
3的卷积层和1个tanh激活函数。
[0143]
静脉训练样本的纹理特征获取过程如下：
[0144]
利用静脉纹理编码器提取输入静脉图像i(x，y)的纹理特征，上述过程如下表示：
[0145]zt
＝e1(i)
ꢀꢀꢀꢀ
(13)
[0146]
其中，z
t
为静脉图像i(x，y)的纹理特征，e1为静脉纹理编码器；随后将形状特征zs和纹理特征z
t
进行级联，输入到图像重建生成器g1中，重建输入静脉图像，通过与真实的静脉图像进行比较，使得静脉纹理编码器可以学习到静脉纹理特征的表征能力，具体过程可由式(14)和式(15)所示：
[0147]i′
＝g1(concate(z
t
，zs))
ꢀꢀꢀꢀ
(14)
[0148]
lc＝|i-g1(concate(z
t
，zs))|＝|i-i
′
|
ꢀꢀꢀꢀ
(15)
[0149]
其中，i
′
为图像重建生成器g1生成的静脉图像，lc为重建损失函数，|
·
|表示为机器学习中常用的l1损失函数，concate(
·
)表示特征级联操作。
[0150]
步骤5、构建权值引导的静脉深度特征学习模块，对解耦后的纹理特征和形状特征进行权值融合，以获取用于静脉识别的高判别静脉深度特征，转入步骤6。
[0151]
权值引导的静脉深度特征学习模块的网络结构如下：
[0152]
首先，对解耦后的纹理特征乘以权值系数a，随后再对解耦后的形状特征乘以1-a；其次，将经过权值加权后的静脉纹理特征和形状特征进行级联，获取融合后的高判别深度特征，随后输入分类层进行身份信息识别，如式(16)所示：
[0153]zfusion
＝concate[a
·zt
，(1-a)
·zs
]
ꢀꢀꢀꢀ
(16)
[0154]
其中，z
fusion
为权值加权融合后的静脉深度特征，0≤a≤1；最后，通过调整权值系数a，得到不同权重融合下网络模型的识别率，选择网络模型最高识别率所对应的权值系数作为静脉纹理特征和形状特征融合的最优权重比；最优权值系数a的值为0.4。
[0155]
静脉深度特征学习模块的损失函数采用softmax，记为lr，则则由静脉形状编码器、静脉纹理编码器、静脉形状生成器、图像重建生成器和静脉深度特征学习模块构成的总体网络模型的损失函数l
total
可由式(17)所示：
[0156]
l
total
＝λsls+λclc+λrlrꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(17)
[0157]
其中，λs、λc和λr为平衡不同损失函数的超参数，分别被设置为1、1和0.5，ls为静脉形状生成器的损失函数，lc为图像重建生成器的损失函数。
[0158]
转入步骤5。
[0159]
步骤6、利用静脉训练样本集训练静脉形状编码器、静脉纹理编码器、静脉形状生成器、图像重建生成器和静脉深度特征学习模块，转入步骤7。
[0160]
步骤7、采集286个志愿者的右手手背静脉图像，每个志愿者采集10张图像，共采集2860张手背静脉图像，通过归一化处理，得到像素大小为256
×
256的2860张手背静脉图像，构成测试样本集，转入步骤8；
[0161]
步骤8、将测试样本集中的静脉图像输入到训练好的静脉纹理编码器、静脉形状编码器和静脉深度特征学习模块，实现静脉图像的身份信息识别。
[0162]
本发明方法在nvidia tesla v100 gpu主机上采用python编程语言和keras框架
语言搭建网络框架进行相关实验。在多尺度特征融合模块中使用relu激活函数，在se注意力机制中使用sigmoid激活函数。在网络训练的过程中，输入图像的大小被归一化为256
×
256。网络的学习率被设置为0.0001，权值衰减系数被设置为0.5。在静脉训练样本集上共训练100次，得到静脉图像识别模型。
[0163]
为了更好地评估本发明所提出的基于特征解耦网络的手部静脉识别方法的有效性，本节选取卷积神经网络(cnn)、双通道卷积神经网络(tccnn)、结构生长引导的深度卷积神经网络(sgdcnn)、高判别静脉识别模型(dvr)、先验知识引导的深度置信网络(dbn)、多感受野双线性卷积神经网络(mrf-bcnn)、手指静脉识别和仿冒攻击统一网络(fvras-net)和联合注意力网络
[
(jan)等八种基于深度特征的手部静脉识别模型作为对比算法，在采集的手背静脉图像数据库上设计了对比实验。
[0164]
在采集的的手背静脉图像数据库上，八种手部静脉识别对比模型的详细实验结果如表1所示，构建的roc曲线如图5所示。由表1可知，本发明提出的一种基于特征解耦网络的手部静脉识别模型取得的识别率分别为99.02％，均高于其他八种基于深度特征的手部静脉识别模型的识别率，则可以有效表明本发明所提出的静脉识别模型具有优异的性能。此外，由图4可知，相比较八种基于深度特征的手部静脉识别模型的roc曲线，本发明提出的一种基于特征解耦网络的静脉识别模型取得了最好的实验结果，进而证明了所设计算法的有效性。
[0165]
表1在采集的手背静脉图像数据库上八种基于深度特征的静脉识别模型的实验结果
[0166]
模型识别率(％)cnn88.05sgdcnn89.73tccnn96.16dbn96.40dvr97.52fvras-net97.59mrf-bcnn98.27jan98.58本发明算法99.02
[0167]
综上所述，本发明能减少了纹理信息中光照信息对于静脉深度特征表示能力的影响，增强了静脉纹理特征和形状特征的融合效果，提高了静脉识别方法的性能。

技术特征：

1.一种基于特征解耦网络的静脉识别方法，其特征在于，包括以下步骤：步骤1、采集a个志愿者的右手手背静脉图像，10＜a＜1000，每个志愿者采集b张图像，10＜b＜1000，共采集n张手背静脉图像，n＝ab，100＜n＜100000，通过归一化处理，得到像素大小为h
×
w的n张手背静脉图像，构成训练样本集，记为i，转入步骤2；步骤2、构建高鲁棒性静脉图像分割模型，获取静脉训练样本形状特征的二值标签信息，转入步骤3；步骤3、构建静脉形状编码器和静脉形状生成器，利用静脉形状特征二值标签作为静脉形状生成器的监督信息，使得静脉形状编码器能够提取静脉训练样本的形状特征，转入步骤4；步骤4、构建静脉纹理编码器和图像重建生成器，利用输入静脉图像作为图像重建生成器的监督信息，使得静脉纹理编码器能够提取静脉训练样本的纹理特征；完成静脉图像形状和纹理特征的解耦，转入步骤5；步骤5、构建权值引导的静脉深度特征学习模块，对解耦后的纹理特征和形状特征进行权值融合，获取用于静脉识别的高判别静脉深度特征，转入步骤6；步骤6、利用静脉训练样本集训练静脉形状编码器、静脉纹理编码器、静脉形状生成器、图像重建生成器和静脉深度特征学习模块，转入步骤7；步骤7、采集p个志愿者的右手手背静脉图像，10＜p＜1000，每个志愿者采集q张图像，10＜q＜1000，共采集m张手背静脉图像，m＝pq，100＜m＜100000，通过归一化处理，得到像素大小为h
×
w的m张手背静脉图像，构成测试样本集，转入步骤8；步骤8、将测试样本集中的静脉图像输入到训练好的静脉纹理编码器、静脉形状编码器和静脉深度特征学习模块，实现静脉图像的身份信息识别。2.根据权利要求1所述的一种基于特征解耦网络的静脉识别方法，其特征在于，步骤2中，步骤2中，构建高鲁棒性静脉图像分割模型，具体如下：s2.1，初步去除输入静脉图像的噪音信息，得到去噪后的静脉图像g(x，y)：式中，μ为5
×
5滑动窗口的均值，σ2为5
×
5滑动窗口的方差，v2代表局部噪音信息方差，其值为所有局部方差的平均值，i(x，y)为输入的静脉图像；s2.2，利用4个方向的谷型运算子对去噪后的静脉图像g(x，y)进行静脉信息增强，随后选择4个增强后的静脉图像相应位置的最大像素值，作为最终静脉信息增强图像的灰度值，如式(3)所示：g
′
(x，y)＝max{f1(x，y)，f2(x，y)，f3(x，y)，f4(x，y)}
ꢀꢀꢀꢀ
(3)式中，f1(x，y)，f2(x，y)，f3(x，y)，f4(x，y)分别对应表示经过45
°
、135
°
、水平方向和竖直方向谷型运算子增强后的静脉图像，g
′
(x，y)为融合后的静脉增强图像；s2.3，进一步去除静脉增强图像中的噪音信息和非静脉信息，具体操作如下：式中，gmean为5
×
5滑动窗口的均值，g
″
(x，y)为处理后的静脉图像；s2.4，通过式(5)判断每个像素值的分割阈值，具体如下：
式中，t(x，y)为静脉图像中像素点(x，y)的分割阈值，avg(x，y)为41
×
41滑动窗口的均值，其值为g(x，y)为像素点(x，y)的梯度值，r
g
为全局最大梯度值，i和j为变量，0≤i≤h，0≤j≤h；其中，gra(x，y)为41
×
41滑动窗口的局部最大梯度值，其中系数b和系数c分别被设置为0.01和0.02；s2.5，将g
″
(x，y)中每个像素值与分割阈值t(x，y)进行比较，若大于分割阈值则判定为静脉信息，若小于阈值则判定为非静脉信息。3.根据权利要求2所述的一种基于特征解耦网络的静脉识别方法，其特征在于，s2.2中，利用四种谷型运算子对去噪后的静脉图像g(x，y)进行静脉信息增强，具体如下：f
n
(x，y)＝g(x，y)*v
n
，n＝1，2，3，4
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)其中，f
n
(x，y)表示经过第n个谷型运算子增强后的静脉图像，v
n
表示第n个谷型运算子，v1表示为45
°
谷型运算子，v2表示为135
°
谷型运算子，v3表示为水平方向谷型运算子，v4表示为竖直方向谷型运算子。4.根据权利要求1所述的一种基于特征解耦网络的静脉识别方法，其特征在于，步骤3中，静脉形状编码器和静脉形状生成器的网络框架构建如下：静脉形状编码器包含5个多尺度注意力残差模块、5个最大池化层和1个卷积核为8
×
8的卷积层；静脉形状生成器主要包含6个上采样层、5个多尺度注意力残差模块、1个卷积核为3
×
3的卷积层和1个sigmoid激活函数。5.根据权利要求4所述的一种基于特征解耦网络的静脉识别方法，其特征在于，多尺度注意力残差模块构建方法如下：通过局部最大池化方法获取图像的三个尺度分支，得到低级输入特征，每个分支采用相同的卷积网络对不同尺度的低级输入特征进行特征映射，提取高级语义特征；通过多分支跨尺度域信息融合方法，将不同分支之间的低级输入特征和高级语义特征进行跨尺度连接，提取到三个分支的跨尺度特征之后，通过特征级联的方式对三个跨尺度特征进行融合，得到多尺度融合特征；利用多尺度特征融合模块代替基本残差模块中的卷积层，并加入注意力机制，构建多尺度注意力残差模块。6.根据权利要求1所述的一种基于特征解耦网络的静脉识别方法，其特征在于，步骤3中，基于静脉形状特征二值标签信息，获取静脉训练样本的形状特征，具体如下：利用静脉形状编码器e2提取输入的静脉图像i(x，y)的形状特征，上述过程如下表示：z
s
＝e2(i)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)其中，z
s
为静脉图像i(x，y)的形状特征，e2为静脉形状编码器；随后将形状特征z
s
输入到静脉形状生成器g2中，生成预测的静脉图像形状信息，通过与真实静脉图像的形状标签信息进行比较，使得静脉形状编码器学习到静脉形状特征的表征能力，具体过程由式(12)和式(13)表示：i
′
s
＝g2(z
s
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)其中，i
′
s
为静脉形状生成器g2生成的预测静脉形状特征，i
s
为真实的静脉形状二值标
签信息，w
s
和h
s
分别为形状二值标签图的宽度和高度，l
s
为静脉形状生成器的损失函数。7.根据权利要求1所述的一种基于特征解耦网络的静脉识别方法，其特征在于，步骤4中，静脉纹理编码器和图像重建生成器的网络框架构建如下：静脉纹理编码器主要包含5个多尺度注意力残差模块、5个最大池化层和1个卷积核为8
×
8的卷积层；图像重建生成器包含1个级联操作、6个上采样层、5个多尺度注意力残差模块、1个卷积核为3
×
3的卷积层和1个tanh激活函数。8.根据权利要求7所述的一种基于特征解耦网络的静脉识别方法，其特征在于，步骤4中，静脉训练样本的纹理特征获取过程如下：利用静脉纹理编码器提取输入静脉图像i(x，y)的纹理特征，上述过程如下表示：z
t
＝e1(i)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(14)其中，z
t
为静脉图像i(x，y)的纹理特征，e1为静脉纹理编码器；随后将形状特征z
s
和纹理特征z
t
进行级联，输入到图像重建生成器g1中，重建输入静脉图像i(x，y)，通过与真实的静脉图像进行比较，使得静脉纹理编码器学习到静脉纹理特征的表征能力，具体过程由式(15)和式(16)所示：i
′
＝g1(concate(z
t
，z
s
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(15)l
c
＝|i-g1(concate(z
t
，z
s
))|＝|i-i
′
|
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(16)其中，i
′
为图像重建生成器g1生成的静脉图像，l
c
为重建损失函数，|
·
|表示为机器学习中的l1损失函数，concate(
·
)表示特征级联操作。9.根据权利要求1所述的一种基于特征解耦网络的静脉识别方法，其特征在于，步骤5中，权值引导的静脉深度特征学习模块的网络结构如下：首先，对解耦后的纹理特征乘以权值系数a，随后再对解耦后的形状特征乘以1-a；其次，将经过权值加权后的静脉纹理特征和形状特征进行级联，获取融合后的高判别深度特征，随后输入分类层进行身份信息识别，如式(17)所示：z
fusion
＝concate[a
·
z
t
，(1-a)
·
z
s
]
ꢀꢀꢀꢀꢀꢀꢀꢀ
(17)其中，z
fusion
为权值加权融合后的静脉深度特征，0≤a≤1；最后，通过调整权值系数a，得到不同权重融合下网络模型的识别率，选择网络模型最高识别率所对应的权值系数作为静脉纹理特征和形状特征融合的最优权重比；静脉深度特征学习模块的损失函数采用softmax，记为l
r
，则由静脉形状编码器、静脉纹理编码器、静脉形状生成器、图像重建生成器和静脉深度特征学习模块构成的总体网络模型的损失函数l
total
由式(18)所示：l
total
＝λ
s
l
s
+λ
c
l
c
+λ
r
l
r
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(18)其中，λ
s
、λ
c
和λ
r
为平衡不同损失函数的超参数，l
s
为静脉形状生成器的损失函数，l
c
为图像重建生成器的损失函数。

技术总结

本发明公开了一种基于特征解耦网络的静脉识别方法，设计高鲁棒性静脉图像分割模型，获取高质量的静脉形状特征二值分割图，构建基于多尺度注意力残差模块的静脉形状纹理特征解耦网络，实现静脉图像纹理和形状特征的自适应解耦，提出权值引导的高判别深度特征学习模块，增强了静脉深度特征表示能力。本发明减少了纹理信息中光照信息对于静脉深度特征表示能力的影响，增强了静脉纹理特征和形状特征的融合效果，提高了静脉识别方法的性能。提高了静脉识别方法的性能。提高了静脉识别方法的性能。