一种基于纹理特征的图像压缩感知自适应重构方法及装置

1.本发明属于图像处理技术领域，涉及一种基于纹理特征的图像压缩感知自适应重构方法及装置。

背景技术：

2.近年来基于信号稀疏性(稀疏模型)的压缩感知理论提出一种全新的信号采样与重构方法：在编码端，通过测量矩阵对原始图像数据进行线性、非自适应的随机投影获得少量测量值(或称为采样值)；在编码端，通过迭代求解优化问题，从获得的少量测量值中重构图像。压缩感知这种无需存储、直接压缩的策略大大降低了对编码端内存资源的要求，并且能够以低于nyquist的采样率对信号进行采样，大大提高了编码效率，被应用于多个领域，如：单像素成像，加速磁共振成像，无线远程监控、认知无线电通信等。
3.传统的压缩感知重构算法通过迭代求解优化问题来进行图像重构，重构效率低下，无法满足实时应用场景的需求。近年来，基于深度学习的压缩感知重构算法得到了研究者的广泛关注。该类方法通过构建参数化网络，通过训练网络参数，学习测量值到原始图片的映射，具备较高的重构效率，能够满足实时应用的需求。但是，现有基于深度学习的压缩感知重构方法，利用同一个网络对不同图像块进行重构，忽略了图像的纹理特征，重构质量和效率有待进一步提高。

技术实现要素：

4.目的：为了克服现有技术中存在的不足，本发明提供一种基于纹理特征的图像压缩感知自适应重构方法及装置。
5.技术方案：为解决上述技术问题，本发明采用的技术方案为：
6.第一方面，提供一种帕金森语音识别方法，包括：
7.获取待重构原始图像；
8.对原始图像中的图像块进行压缩感知采样，得到图像块的测量值；
9.将图像块的测量值输入预训练好的重构网络模型，得到重构的图像块；
10.对重构的图像块按照顺序进行拼接，获得最终的重构图像；
11.其中所述重构网络模型包括初始重构子网、门子网和骨干重构子网；
12.初始重构子网由1个卷积层和1个变形层组成；测量值y输入初始重构子网，输出初始重构结果；门子网由多个卷积层、1个平均池化层、1个全连接层、1个softmax层和1个过滤层组成；初始重构结果输入门子网，输出激活向量；骨干重构子网由多个加权残差子网组成；初始重构结果和激活向量输入骨干重构子网，进行自适应重构，输出最终重构结果。
13.在一些实施例中，所述对原始图像中的图像块进行压缩感知采样，得到图像块的测量值，包括：
14.在压缩感知中，对信号的采集如下式所示：
15.y＝φx
16.其中，y为测量值，φ为采样矩阵，x为原始图像；
17.在此网络中，压缩感知采样由一个卷积层来实现，用于图像块的采样；sr为采样率，使用b
·b·
sr个大小为b
×
b的卷积核进行卷积计算，步长为b，输入信道数为1，输出信道数为b
·b·
sr；
18.所述卷积层对图像中每一个b
×
b大小的图像块进行压缩感知采样，输出为一个h
×w×
(sr
·b·
b)的张量，其中，h和w代表输入图像的高和宽两个维度上的块的数量。
19.在一些实施例中，所述重构网络模型的构建方法包括：
20.重构网络模型由初始重构子网、门子网和骨干重构子网构成；
21.所述初始重构子网由1个卷积层(conv层)和1个变形层(reshape层)组成；首先，利用1个第一卷积层对测量值y进行卷积运算，其中所述第一卷积层的卷积核数量：b
·
b，卷积核大小：1
×
1，步长：1，填充：valid；然后，利用1个变形层将卷积层的输出张量进行变形，输出初始重构结果至骨干重构子网；
22.所述门子网由h个第四卷积层、1个平均池化层、1个全连接层、1个softmax层和1个过滤层构成；其中所述第四卷积层的卷积核数量：32，卷积核大小：3
×
3，步长：1，填充：same；所述平均池化层的池化核大小：2
×
2；所述全连接层神经元数量：k；在过滤层，对softmax层的输出向量进行过滤：如果数值大于等于设定阈值则保留数值；反之，将数值置0；最后，获得最终的激活向量，并输出至骨干重构子网；
23.所述骨干重构子网由k个加权残差子网组成；在加权残差子网中，首先，利用1个第二卷积层(conv层)对输入进行特征提取，获得特征图，其中所述第二卷积层的卷积核数量：32，卷积核大小：3
×
3，步长：1，填充：same；然后，利用1个第三卷积层(conv层)进行增强重构，获得增强重构结果，其中所述第三卷积层的卷积核数量：1，卷积核大小：3
×
3，步长：1，填充：same；其次，将增强重构结果的数值与激活向量中对应的数值进行点乘运算，再与这个加权残差子网的输入进行相加，获得这个加权残差子网的最终输出。
24.在一些实施例中，所述重构网络模型的训练方法包括：
25.(2a)基于数据集，利用重构损失函数作为损失函数，采用梯度下降算法，对初始重构子网进行预训练；其中所述数据集由图像块与其测量值的数据对组成；
26.(2b)基于数据集，利用重构损失函数和门函数构建自适应重构损失函数，采用梯度下降算法，对整体网络进行端到端的训练；其中所述数据集由图像块与其测量值的数据对组成。
27.在一些实施例中，重构损失函数l
recon
为：
[0028][0029]
其中，f
pre
(y)为初始重构子网的输出结果，x为原始图像，y为测量值。在一些实施例中，自适应重构损失函数l
adap
为：
[0030]
l
adap
＝l
recon
+λ1l
gate
[0031]
其中，λ1为权重参数，l
recon
为重构损失函数，l
gate
为门函数：
[0032]
[0033]
其中，pi(y)为softmax层的输出向量中的数值，i表示输出向量pi(y)中第i个数值，k为加权残差子网个数。
[0034]
在一些实施例中，所述数据集采用bsd200数据集。
[0035]
在一些实施例中，所述的基于纹理特征的图像压缩感知自适应重构方法，参数设置：门子网中卷积层个数h设置为5，加权残差子网个数k设置为9，步长b设置为32，权重参数λ1设置为1。
[0036]
第二方面，本发明提供了一种基于纹理特征的图像压缩感知自适应重构装置，包括处理器及存储介质；
[0037]
所述存储介质用于存储指令；
[0038]
所述处理器用于根据所述指令进行操作以执行根据第一方面所述方法的步骤。
[0039]
第三方面，本发明提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述方法的步骤。
[0040]
有益效果：本发明提供的基于纹理特征的图像压缩感知自适应重构方法及装置，具有以下优点：该方法提出一种特殊的端到端神经网络，该网络由初始重构子网、门子网和骨干重构子网组成。利用门子网挖掘初始重构的纹理特征，输出激活向量，以激活骨干重构子网的对应部分，实现对不同图像块的自适应重构，提高重构质量与效率。
附图说明
[0041]
图1为根据本发明一实施例的整体网络框架图。
具体实施方式
[0042]
下面结合附图和实施例对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0043]
在本发明的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
[0044]
本发明的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0045]
实施例1
[0046]
一种基于纹理特征的图像压缩感知自适应重构方法，包括：
[0047]
获取待重构原始图像；
[0048]
对原始图像中的图像块进行压缩感知采样，得到图像块的测量值；
[0049]
将图像块的测量值输入预训练好的重构网络模型，得到重构的图像块；
[0050]
对重构的图像块按照顺序进行拼接，获得最终的重构图像；
[0051]
其中所述重构网络模型包括初始重构子网、门子网和骨干重构子网；
[0052]
初始重构子网由1个卷积层和1个变形层组成；测量值y输入初始重构子网，输出初始重构结果；门子网由多个卷积层、1个平均池化层、1个全连接层、1个softmax层和1个过滤层组成；初始重构结果输入门子网，输出激活向量；骨干重构子网由多个加权残差子网组成；初始重构结果和激活向量输入骨干重构子网，进行自适应重构，输出最终重构结果。
[0053]
本实施例提供了一种基于纹理特征的图像压缩感知自适应重构方法，该方法的具体步骤如下：
[0054]
(1)构建网络
[0055]
构建端到端深度网络，该网络由初始重构子网、门子网和骨干重构子网构成。其中，初始重构子网由1个卷积层和1个变形层组成。测量值y输入初始重构子网，输出初始重构结果；门子网由多个卷积层、1个平均池化层、1个全连接层、1个softmax层和1个过滤层组成。初始重构结果输入门子网，输出激活向量；骨干重构子网由多个加权残差子网组成。初始重构结果和激活向量输入骨干重构子网，进行自适应重构，输出最终重构结果。
[0056]
(2)训练网络
[0057]
(2a)基于数据集(由图像块与其测量值的数据对组成)，利用重构损失函数作为损失函数，采用梯度下降算法，对初始重构子网进行预训练。
[0058]
(2b)基于数据集(由图像块与其测量值的数据对组成)，利用重构损失函数和门函数构建自适应重构损失函数，采用梯度下降算法，对整体网络进行端到端的训练。
[0059]
(3)进行重构
[0060]
将图像块的测量值输入训练好的网络中，获得重构的图像块。对重构完的图像块按照顺序进行拼接，获得最终的重构图像。
[0061]
本实施例中，过程具体包括获得原测量值、网络构建过程和训练过程，步骤如下：
[0062]
(1)获得原测量值
[0063]
在压缩感知中，对信号的采集如下式所示：
[0064]
y＝φx
ꢀꢀ
(1)
[0065]
其中，y为测量值，φ为采样矩阵，x为原始图像。在此网络中，式(1)由一个卷积层来实现，用于图像块的采样。具体的，sr为采样率，使用b
·b·
sr个大小为b
×
b的卷积核进行卷积计算，步长为b，输入信道数为1，输出信道数为b
·b·
sr。
[0066]
此卷积层等同于对图像中每一个b
×
b大小的图像块进行压缩感知采样，输出为一个h
×w×
(sr
·b·
b)的张量，其中，h和w代表输入图像的高和宽两个维度上的块的数量(即用图像的宽和高分别除以b)。
[0067]
(2)网络构建过程
[0068]
构建端到端深度网络如图1所示，该网络由初始重构子网、门子网和骨干重构子网构成：
[0069]
初始重构子网由1个卷积层(conv层)和1个变形层(reshape层)组成。首先，利用1个卷积层(卷积核数量：b
·
b，卷积核大小：1
×
1，步长：1，填充：valid)对测量值y进行卷积运算。然后，利用1个变形层将卷积层的输出张量进行变形，输出初始重构结果。
[0070]
骨干重构子网由k个加权残差子网组成。在加权残差子网中，首先，利用1个卷积层(conv层)(卷积核数量：32，卷积核大小：3
×
3，步长：1，填充：same)对输入进行特征提取，获得特征图。然后，利用1个卷积层(conv层)(卷积核数量：1，卷积核大小：3
×
3，步长：1，填充：
same)进行增强重构，获得增强重构结果。其次，将增强重构结果的数值与激活向量中对应的数值进行点乘运算，再与该加权残差子网的输入进行相加，获得该加权残差子网的最终输出。
[0071]
门子网由h个卷积层(conv层)(卷积核数量：32，卷积核大小：3
×
3，步长：1，填充：same)、1个平均池化层(pooling层)(池化核大小：2
×
2)、1个全连接层(fc层)(神经元数量：k)、1个softmax层和1个过滤层(gl层)构成。在过滤层，对softmax层的输出向量进行过滤：如果数值大于等于设定阈值则保留数值；反之，将数值置0。最后，获得最终的激活向量。
[0072]
(3)训练过程
[0073]
(3a)构建如下所示的损失函数l
recon
对初始重构子网进行预训练：
[0074][0075]
其中，f
pre
(y)为初始重构子网的输出结果。
[0076]
(3b)构建如下所示的自适应重构损失函数l
adap
对整体网络进行训练：
[0077]
l
adap
＝l
recon
+λ1l
gate
[0078]
其中，λ1为权重参数，l
gate
为门函数：
[0079][0080]
其中，pi(y)为softmax层的输出向量中的数值。
[0081]
下面对本发明实施例方法的效果做进一步说明。
[0082]
参数设置：h设置为5，k设置为9，b设置为32，λ1设置为1。将bsd200数据集按照80％和20％划分训练集和验证集(灰度图)，选用bsd100作为测试集(灰度图)，选用adam算法对网络进行训练。与领域主流重构方法admm-net进行性能对比，对比如表1所示：
[0083]
表1.psnr(db)性能对比
[0084][0085]
由表1可以看出，本发明方法相比于已有的admm-net方法在重构质量上有着明显的效果提升。
[0086]
实施例2
[0087]
第二方面，本实施例提供了一种基于纹理特征的图像压缩感知自适应重构装置，包括处理器及存储介质；
[0088]
所述存储介质用于存储指令；
[0089]
所述处理器用于根据所述指令进行操作以执行根据实施例1所述方法的步骤。
[0090]
实施例3
[0091]
第三方面，本实施例提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述方法的步骤。
[0092]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0093]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0094]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0095]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0096]
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

技术特征：

1.一种基于纹理特征的图像压缩感知自适应重构方法，其特征在于，包括：获取待重构原始图像；对原始图像中的图像块进行压缩感知采样，得到图像块的测量值；将图像块的测量值输入预训练好的重构网络模型，得到重构的图像块；对重构的图像块按照顺序进行拼接，获得最终的重构图像；其中所述重构网络模型包括初始重构子网、门子网和骨干重构子网；初始重构子网由1个卷积层和1个变形层组成；测量值y输入初始重构子网，输出初始重构结果；门子网由多个卷积层、1个平均池化层、1个全连接层、1个softmax层和1个过滤层组成；初始重构结果输入门子网，输出激活向量；骨干重构子网由多个加权残差子网组成；初始重构结果和激活向量输入骨干重构子网，进行自适应重构，输出最终重构结果。2.根据权利要求1所述的基于纹理特征的图像压缩感知自适应重构方法，其特征在于，所述对原始图像中的图像块进行压缩感知采样，得到图像块的测量值，包括：在压缩感知中，对信号的采集如下式所示：y＝φx其中，y为测量值，φ为采样矩阵，x为原始图像；压缩感知采样由一个卷积层来实现，用于图像块的采样；sr为采样率，使用b
·
b
·
sr个大小为b
×
b的卷积核进行卷积计算，步长为b，输入信道数为1，输出信道数为b
·
b
·
sr；所述卷积层对图像中每一个b
×
b大小的图像块进行压缩感知采样，输出为一个h
×
w
×
(sr
·
b
·
b)的张量，其中，h和w代表输入图像的高和宽两个维度上的块的数量。3.根据权利要求2所述的基于纹理特征的图像压缩感知自适应重构方法，其特征在于，所述重构网络模型的构建方法包括：重构网络模型由初始重构子网、门子网和骨干重构子网构成；所述初始重构子网由1个卷积层和1个变形层组成；首先，利用1个第一卷积层对测量值y进行卷积运算，其中所述第一卷积层的卷积核数量：b
·
b，卷积核大小：1
×
1，步长：1，填充：valid；然后，利用1个变形层将卷积层的输出张量进行变形，输出初始重构结果至骨干重构子网；所述门子网由h个第四卷积层、1个平均池化层、1个全连接层、1个softmax层和1个过滤层构成；其中所述第四卷积层的卷积核数量：32，卷积核大小：3
×
3，步长：1，填充：same；所述平均池化层的池化核大小：2
×
2；所述全连接层神经元数量：k；在过滤层，对softmax层的输出向量进行过滤：如果数值大于等于设定阈值则保留数值；反之，将数值置0；最后，获得最终的激活向量，并输出至骨干重构子网；所述骨干重构子网由k个加权残差子网组成；在加权残差子网中，首先，利用1个第二卷积层对输入进行特征提取，获得特征图，其中所述第二卷积层的卷积核数量：32，卷积核大小：3
×
3，步长：1，填充：same；然后，利用1个第三卷积层进行增强重构，获得增强重构结果，其中所述第三卷积层的卷积核数量：1，卷积核大小：3
×
3，步长：1，填充：same；其次，将增强重构结果的数值与激活向量中对应的数值进行点乘运算，再与这个加权残差子网的输入进行相加，获得这个加权残差子网的最终输出。4.根据权利要求1所述的基于纹理特征的图像压缩感知自适应重构方法，其特征在于，
所述重构网络模型的训练方法包括：(2a)基于数据集，利用重构损失函数作为损失函数，采用梯度下降算法，对初始重构子网进行预训练；其中所述数据集由图像块与其测量值的数据对组成；(2b)基于数据集，利用重构损失函数和门函数构建自适应重构损失函数，采用梯度下降算法，对整体网络进行端到端的训练；其中所述数据集由图像块与其测量值的数据对组成。5.根据权利要求4所述的基于纹理特征的图像压缩感知自适应重构方法，其特征在于，重构损失函数l
recon
为：其中，f
pre
(y)为初始重构子网的输出结果，x为原始图像，y为测量值。6.根据权利要求5所述的基于纹理特征的图像压缩感知自适应重构方法，其特征在于，自适应重构损失函数l
adap
为：l
adap
＝l
recon
+λ1l
gate
其中，λ1为权重参数，l
recon
为重构损失函数，l
gate
为门函数：其中，p
i
(y)为softmax层的输出向量中的数值，i表示输出向量p
i
(y)中第i个数值，k为加权残差子网个数。7.根据权利要求4所述的基于纹理特征的图像压缩感知自适应重构方法，其特征在于，所述数据集采用bsd200数据集。8.根据权利要求1所述的基于纹理特征的图像压缩感知自适应重构方法，其特征在于，参数设置：门子网中卷积层个数h设置为5，加权残差子网个数k设置为9，步长b设置为32，权重参数λ1设置为1。9.一种基于纹理特征的图像压缩感知自适应重构装置，其特征在于，包括处理器及存储介质；所述存储介质用于存储指令；所述处理器用于根据所述指令进行操作以执行根据权利要求1至8任一项所述方法的步骤。10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8任一项所述方法的步骤。

技术总结

本发明公开了一种基于纹理特征的图像压缩感知自适应重构方法及装置，方法包括：获取待重构原始图像；对原始图像中的图像块进行压缩感知采样，得到图像块的测量值；将图像块的测量值输入预训练好的重构网络模型，得到重构的图像块；对重构的图像块按照顺序进行拼接，获得最终的重构图像；其中所述重构网络模型包括初始重构子网、门子网和骨干重构子网；利用门子网挖掘初始重构的纹理特征，输出激活向量，以激活骨干重构子网的对应部分，实现对不同图像块的自适应重构，提高重构质量与效率。提高重构质量与效率。提高重构质量与效率。