一种基于能量集中特性的快速编码光谱成像方法

1.本技术涉及计算机图像处理领域，尤其涉及一种基于能量集中特性快速编码光谱成像方法。

背景技术：

2.目前普遍应用的光谱成像技术可以同时获得物质的二维空间信息和光谱维度信息，每个像元都可以形成对应的光谱信息，从而提升了对物质的识别与区分的精度与效率，该技术在食品安全、医学诊断、探测遥感等领域得到广泛应用。
3.然而，以现有的光谱成像技术水平，在获取高光谱图像方面，难以直接快速地获得，其原因一部分在于系统中运用设备的稳定性不足，所使用算法所得结果的置信度较低，因而现有的光谱成像成像质量较低；同时，由于图片分辨率与编码次数呈正相关，编码次数越多，其分辨率越高，但同时采集数据花费的时间也相应增长，部分光谱成像技术通过多次编码一定程度上提升了成像质量，但时间成本消耗大，不具有普适性和高效率。

技术实现要素：

4.为了解决上述技术问题，本技术提供一种基于能量集中特性的快速编码光谱成像方法，包括以下步骤：步骤一：基于双光路成像系统获取光谱信息和rgb图像信息；步骤二：基于rgb图像单位区域内空间信息和编码模板相乘后的高低排序，建立光谱信息编码模板的采样顺序；步骤三：基于dct矩阵能量集中特性和上述采样顺序建立dct编码模板，对光谱信息进行编码和重建；步骤四：基于pms-net特征提取模块和cmmi信息插入函数建立光谱图像增强网络，通过rgb图像丰富的空间信息提高低分辨率重建光谱图像的空间细节质量。
5.进一步地，步骤一中所述双光路成像系统包括dmd微镜阵组，该dmd微镜阵组通过阵列变换，分别将光路接通光谱相机和rgb相机，所述dmd微镜阵组包括半反透镜。
6.步骤三中dct矩阵编码如公式1所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）其中，n为图像的尺寸，a为dct矩阵。
7.步骤四中所述增强网络包括损失函数，如公式2所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）公式中，n为样本总数，网络输出结果与地面实况图像之间的损失函数作为网络约束。
8.有益效果：
①
高质量成像：通过在原有成像方法基础上，融合rgb图像信息，使原本会出现欠采样区域的光谱信息得到高度的补充，从而达成高质量的成像；
②
处理便捷：通过对rgb图像空间信息大小得到光谱编码对应顺序，并通过矩阵化编码处理，使处理速度得到大幅提升。
附图说明
9.图1是本技术的流程图；图2是本技术中双光路成像系统的示意图；图3是本技术中光谱信息处理方法图；图4是本技术中增强网络示意图；图5是网络输出图像与地面实况图像之间的相对误差映射图像和光谱失真图像；图6是全波段光谱增强系统的光谱曲线与真实图像曲线对比图。
具体实施方式
10.现在结合附图对本技术作进一步详细的说明。
11.如图2所示，在步骤一中，所述双光路成相系统具体包括dmd微镜阵列、光谱相机和彩相机，其中dmd微镜阵列分辨率为1920ｘ1080像素，像元尺寸可以达到7.6μm
×
7.6μm，通过dmd微镜阵列的变换来实现编码过程，进行编码测量，并且通过“开”、“关”状态的控制，实现光谱仪的测量。编码过程通过dmd微镜阵列变换实现，我们在实验中通过翻转dmd和其他操作获得灰模板。
12.如图3所示，在步骤二中，rgb图像包含丰富的空间信息，通过参考rgb图像的空间信息，来选择采样编码的位置，在对高光谱图像进行编码之前，利用rgb图像的空间细节来选择编码模板的采样顺序，然后选择相应的编码模板顺序来重建光谱图像，从而在编码欠采样的情况下，重建更多的有效信息。具体过程为，在我们设计的编码模式选择方法中，对于rgb图像的每一行，我们都有如图2所示的操作。首先，我们将rgb图像的每一行重复到与编码模板大小相同的矩阵中；其次，将该矩阵和编码模板相乘并求和，从而获得n个变换域值。然后，将n个变换域值的绝对值按从大到小的顺序排序。最后，将原始编码矩阵的顺序对应于较大的绝对值作为光谱成像编码模板。在欠采样的情况下，通过这种模板选择方法，我们可以可靠地重建光谱图像并保留图像的边缘和细节。当采样时间大大减少时，图像质量仍然可以得到保证。
13.如图4所示在步骤三中，对于自然场景，图像能量一般均匀分布在空间域中，我们以dct矩阵为编码模板，通过对目标信息的编码和散的操作，得到数据立方体每行信息的谱域。从光谱域可以看出，dct可以将图像能量集中在其变换域的上部，因此在欠采样的情况下，通过选择合适的编码位置可以达到良好的重建效果。将离散余弦变换(dct)矩阵作为
编码模板，离散余弦变换是一种可分离变换，变换的核心为余弦函数，它能够将物理信息能量汇聚到低频成分，可以通过dct矩阵对图像进行变换，以获得其在频域中的表达式，并且图像的主能量集中在矩阵的左上角，右下角仅包含少量的能量信号。在编码过程中创建如下所示的二维dct矩阵：其中，n为图像的尺寸，a为dct矩阵。
14.又如图3所示，在步骤四中，考虑到相邻光谱信息相关性，通过cmmi函数将hrls信息插入到lrhs图像当中，该预操作可以使得信息增强更加有效。然后将预操作后的图像信息放到特征提取网络pms-net当中，进行特征提取，然后将特征通过亚像素卷积计算之后，我们便可以最大限度的提取到图像的光谱特征，为后续光谱图像增强过程中的光谱趋势约束提供足够的数据。
15.并且在步骤四中，基于深度学习神经网络将光谱图像和rgb图像进行融合，考虑到rgb包含丰富的空间信息，而低采样情况下重建的图像缺乏空间信息，所以将rgb图像的空间信息融合到重建的图像中，得到高空间-高光谱分辨率的图像。主要步骤为：一方面，在欠采样的情况下，通过cmmi信息插入函数将rgb图像信息插入到欠采样重建的光谱图像中，该功能保留了具有欠采样的重建光谱图像的光谱信息和rgb图像的空间信息。然后，使用pms-net模块和亚像素卷积来提取其信息特征。通过这种方式可以最大程度地提取光谱图像特征。另一方面，在增加rgb图像的光谱维度之后，将欠采样重建的光谱图像和rgb图像信息进行了暴力融合。使用1*1卷积结构来增加或减少光谱通道。最后，融合了两部分网络结构输出数据，并减小了频谱维度。从网络结构上可以得出结论，经过对高光谱数据的多次增强，网络结构对输出的光谱尺寸施加了很强的约束。其中loss函数模块，主要用来计算网络输出损失，通过根据高光谱数据的三维性质，网络结构中使用mse函数去计算数据之间的差异，所设计的损失函数公式如所示：公式中，n为样本总数，网络输出结果与地面实况图像之间的损失函数作为网络约束。
16.最后，如图5-6所示，我们挑选测试数据中的一个场景，选取这个场景的几个波段来进行对比分析，然后绘制了网络输出图像与地面实况图像之间的相对误差映射图像和光谱失真图像，可以看出设计的光谱图像增强系统达到了视觉上可接受的结果，并且光谱增强系统的光谱曲线几乎与所有波段的真实图像曲线相同。
17.以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例
对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例的技术方案的范围。

技术特征：

1.一种基于能量集中特性的快速编码光谱成像方法，其特征在于，包括以下步骤：步骤一：基于双光路成像系统获取光谱信息和rgb图像信息；步骤二：基于rgb图像单位区域内空间信息和编码模板相乘后的高低排序，建立光谱信息编码模板的采样顺序；步骤三：基于dct矩阵能量集中特性和上述采样顺序建立dct编码模板，对光谱信息进行编码和重建；步骤四：基于pms-net特征提取模块和cmmi信息插入函数建立光谱图像增强网络，通过rgb图像丰富的空间信息提高低分辨率重建光谱图像的空间细节质量。2.根据权利要求1所述的快速编码光谱成像方法，其特征在于，步骤一中所述双光路成像系统包括dmd微镜阵组，该dmd微镜阵组通过阵列变换，分别将光路接通光谱相机和rgb相机。3.根据权利要求2所述的快速编码光谱成像方法，其特征在于，步骤二中所述dmd微镜阵组包括半反透镜。4.根据权利要求1所述的快速编码光谱成像方法，其特征在于，步骤三中dct矩阵编码如公式1所示：（1）其中，n为图像的尺寸，a为dct矩阵。5.根据权利要求1所述的快速编码光谱成像方法，其特征在于，步骤四中所述增强网络包括损失函数，如公式2所示：（2）公式中，n为样本总数，网络输出结果与地面实况图像之间的损失函数作为网络约束。

技术总结

本申请涉及一种基于能量集中特性的快速编码光谱成像方法，包括以下步骤：基于双光路成像系统获取光谱信息和RGB图像信息；基于RGB图像单位区域内空间信息和编码模板相乘后的高低排序，建立光谱信息编码模板的采样顺序；基于DCT矩阵能量集中特性和上述采样顺序建立DCT编码模板，对光谱信息进行编码和重建；基于PMS-Net特征提取模块和CMMI信息插入函数建立光谱图像增强网络，通过RGB图像丰富的空间信息提高低分辨率重建光谱图像的空间细节质量。本申请基于RGB图像空间信息的排序得到光谱编码的对应顺序，实现在欠采样条件下保留更多的空间与光谱信息；并且融合RGB图像信息，达成到高质量的光谱成像效果。高质量的光谱成像效果。高质量的光谱成像效果。