一种基于FPGA的红外图像坏元检测方法与流程

一种基于fpga的红外图像坏元检测方法
技术领域
1.本技术涉及红外成像技术领域，尤其涉及一种基于fpga的红外图像坏元检测方法。

背景技术：

2.凝视型红外焦平面探测器其核心器件是焦平面阵列。由于材质和生产工艺原因，焦平面不可避免地会存在坏元，影响红外设备的成像质量。焦平面的固有坏元可以基于像元响应率和噪声电压等实验室检测方法来校正，而红外热像仪在使用后，由于时间退化或受外部环境的影响，出现的新的坏元，实验室检测方法难以实施。为解决上述问题，现有技术中多采用基于图像响应值的坏元空间搜索方法，该方法简单、适用性广、实用性强，但是其存在一个缺点，即计算量大，在应用过程中需要耗费大量的资源。为此，本技术提出一种基于fpga的红外图像坏元检测方法。

技术实现要素：

3.本技术的目的是针对以上问题，提供一种基于fpga的红外图像坏元检测方法。
4.本技术提供一种基于fpga的红外图像坏元检测方法，所述方法包括如下步骤：
5.选取大小为n
×
n的坏元检测模板，n为大于1的奇数；
6.将所述坏元检测模板置于红外图像的像元阵列中，并将待检测像元点作为所述坏元检测模板的中心点，得到参考像元点集；所述参考像元点集包括与所述待检测像元点相邻的n
×
n-1个参考像元点；
7.获取所述参考像元点集中各个参考像元点的灰度值，得到参考像元灰度数据集；
8.计算所述参考像元灰度数据集中各参考像元点的灰度值与所述待检测像元点的灰度值的差值，得到差值数据集；
9.统计所述差值数据集中差值数据的绝对值小于设定阈值的数据个数，得到第一个数；
10.判断第一个数是否大于n
×
n/2，若是，则判定所述待检测像元为正常像元点，若否，则判定所述待检测像元为坏元点。
11.根据本技术某些实施例提供的技术方案，在将所述坏元检测模板置于红外图像的像元阵列中时，若所述待检测像元点在所述红外图像中的位置满足如下条件，则对所述红外图像进行边缘补偿，以使所述坏元检测模板能够覆盖像元点：
12.条件一、所述待检测像元点的行号i《(n+1)/2；
13.条件二、所述待检测像元点的列号j《(n+1)/2；
14.条件二、所述待检测像元点的行号i》m-(n-1)/2；
15.条件四、所述待检测像元点的列号j》n-(n-1)/2；
16.其中，m为所述红外图像的像元阵列的行数，n为所述红外图像的像元阵列的列数，i为自然数，0《i≤m，j为自然数，0《j≤n。
17.根据本技术某些实施例提供的技术方案，当所述待检测像元点的行号i《(n+1)/2时，所述边缘补偿方法包括：将所述红外图像的像元阵列中行号大于1、且小于或等于(n+1)/2-i+1的像元点，以行号为1的像元点所在的直线作为镜像轴进行镜像复制。
18.根据本技术某些实施例提供的技术方案，当所述待检测像元点的行号i》m-(n-1)/2时，所述边缘补偿方法包括：将所述红外图像的像元阵列中行号大于或等于2m-(n-1)/2-i、且小于m的像元点，以行号为m的像元点所在的直线作为镜像轴进行镜像复制。
19.根据本技术某些实施例提供的技术方案，当所述待检测像元点的列号j《(n+1)/2时，所述边缘补偿方法包括：将所述红外图像的像元阵列中列号大于1、且小于或等于(n+1)/2-j+1的像元点，以列号为1的像元点所在的直线作为镜像轴进行镜像复制。
20.根据本技术某些实施例提供的技术方案，当所述待检测像元点的列号j》n-(n-1)/2时，所述边缘补偿方法包括：将所述红外图像的像元阵列中列号大于或等于2n-(n-1)/2-j、且小于n的像元点，以行号为n的像元点所在的直线作为镜像轴进行镜像复制。
21.根据本技术某些实施例提供的技术方案，n的取值为9。
22.根据本技术某些实施例提供的技术方案，所述设定阈值的取值范围为50-200。
23.与现有技术相比，本技术的有益效果：本技术将计算量巨大的坏元检测模板移植到了fpga平台上，实现了该技术的工程化应用，将n！次比较运算转变为n
×
(n-1)次减法运算和n
×
(n-1)次加法运算，节约了大量的资源，实现了高阶搜索模板的流水线即时输出；在由n
×
n坏元检测模板扩为(n+1)
×
(n+1)坏元检测模板时，由原来的增加n
×
n！次比较运算变为增加2
×
n+1次减法运算和2
×
n+1次加法运算，扩展性强。
附图说明
24.图1为本技术实施例提供的基于fpga的红外图像坏元检测方法的流程图；
25.图2为本技术实施例提供的坏元检测模板的示意图；
26.图3为红外图像上边缘补偿前的示意图；
27.图4为红外图像上边缘补偿后的示意图；
28.图5为本技术实施例提供的边角补偿的示意图；
29.图6为本技术实施例提供的基于fpga的红外图像坏元检测方法在fpga平台上实现的硬件结构示意图。
具体实施方式
30.为了使本领域技术人员更好地理解本技术的技术方案，下面结合附图对本技术进行详细描述，本部分的描述仅是示范性和解释性，不应对本技术的保护范围有任何的限制作用。
31.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
32.本实施例提供一种基于fpga的红外图像坏元检测方法，其方法流程图如图1所示，所述方法包括如下步骤：
33.s1、选取大小为n
×
n的坏元检测模板，n为大于1的奇数。
34.请参考图2，所述坏元检测模板实际上是一个n
×
n大小的窗口，当该窗口置于红外
图像的像元阵列中时，该窗口对应像元阵列中的n
×
n个像元，即从红外图像的像元阵列中圈出n
×
n个像元。
35.坏元搜索窗口越大，坏元搜索结果越准确，但是窗口越大意味着判断坏元时的计算量也就越大。综合考虑实际工程需求，一般n的取值为9，即选择9
×
9的坏元检测模板即可满足使用要求；这里将n的取值设定为奇数，是为了方便确定窗口的中心点。
36.s2、将所述坏元检测模板置于红外图像的像元阵列中，并将待检测像元点作为所述坏元检测模板的中心点，得到参考像元点集；所述参考像元点集包括与所述待检测像元点相邻的n
×
n-1个参考像元点。
37.本实施例的红外图像是指红外探测器拍摄均匀物体时所得到的红外图像，这里均匀物体是指各部分温度均匀，理想情况下红外探测器所拍摄出来的均匀物体的红外图像应该是均匀的，即各个像元的灰度值是均匀的，而由于一些坏元的存在，使得实际的红外图像中会出现过亮或者过暗的情况，因此本技术的目的即检测出像元阵列中的坏元，以便后续对红外图像进行校正。
38.本实施例的红外探测器包含640
×
512个像元，即红外图像的像元阵列的规格为640
×
512，即红外图像的像元阵列的总列数为640，总行数为512。
39.在进行检索时，将坏元检测模板置于红外图像的像元阵列中，逐一对像元阵列内的各个像元进行检测判断，具体是将待检测像元点作为坏元检测模板的中心点，在本实施例中，坏元检测模板共包围有81个像元，所得到的参考像元点即除去待检测像元点以外的其他像元点，即参考像元点集共包括80个参考像元点。
40.s3、获取所述参考像元点集中各个参考像元点的灰度值，得到参考像元灰度数据集。
41.每个像元点对应一个灰度值，80个参考像元点即对应80个灰度值，即参考像元灰度数据集中共包含80个灰度值。
42.s4、计算所述参考像元灰度数据集中各参考像元点的灰度值与所述待检测像元点的灰度值的差值，得到差值数据集。
43.将步骤s3中得到的80个灰度值分别与位于窗口中心位置的待检测像元点的灰度值相减，得到差值数据集，差值数据集中共包含80个灰度差值。
44.s5、统计所述差值数据集中差值数据的绝对值小于设定阈值的数据个数，得到第一个数。
45.所述设定阈值为人为设定的，其取值范围一般为50-200，优选100，将步骤s4获得的80个灰度差值的绝对值分别与设定阈值作比较，即依次判断80个灰度差值是否落在(-t，t)的范围内，t即设定阈值；在判断时，可以将在(-t，t)范围内的结果记作1，将未在(-t，t)范围内的结果记作0，并对结果为1的进行计数，得到第一个数，所述第一个数即是结果大于1的个数，也即80个灰度差值中，落在(-t，t)的范围内的数据个数。
46.s6、判断第一个数是否大于n
×
n/2；
47.s7、若是，则判定所述待检测像元为正常像元点；
48.s8、若否，则判定所述待检测像元为坏元点。
49.判断落在(-t，t)的范围内的数据个数是否超过半数，即是否大于40.5，若是，则判定所述待检测像元为正常像元点，若否，则判定所述待检测像元为坏元点。
50.接下来，举例说明上述检测方法，表1为坏元检测模块所框选的9
×
9个像元点的灰度值表，其中待检测像元点的灰度值为2006，则计算得到的差值数据集中各数值的绝对值如表2所示，分别将其与设定阈值100进行比较，并统计得到在设定阈值范围内的个数为74，在设定阈值范围内的个数为6，即第一个数为74，因为74大于81/2，所以判定待检测像元为正常像元点。
51.表1
52.200220032001200420222003201024093010200420032004200120032010205523102516200320222002200220022018200420102004200120012010200420182004200220352010202220042003201020063060203120042003200320012010200220012018200320542015202220202002202220032033202220032038200420012022200320222004200820102003201021032121200420222003200420022001
53.表2
[0054][0055][0056]
表3为坏元检测模块所框选的9
×
9个像元点的另外一种情况的灰度值表，其中待检测像元点的灰度值为3006，则计算得到的差值数据集中各数值的绝对值如表4所示，分别将其与设定阈值100进行比较，并统计得到在设定阈值范围内的个数为2，在设定阈值范围内的个数为786，即第一个数为2，因为2小于81/2，所以判定待检测像元为坏元点。
[0057]
表3
[0058]
200220032001200420222003201024093010200420032004200120032010205523102516200320222002200220022018200420102004200120012010200420182004200220352010
202220042003201030063060203120042003200320012010200220012018200320542015202220202002202220032033202220032038200420012022200320222004200820102003201021032121200420222003200420022001
[0059]
表4
[0060][0061][0062]
需要说明的是，本实施例的红外探测器是14位的，其采集图像的像元原始的灰度值范围为0～16383，本技术中的灰度值即是指原始灰度值。
[0063]
进一步地，在将所述坏元检测模板置于红外图像的像元阵列中时，若所述待检测像元点在所述红外图像中的位置满足如下条件，则对所述红外图像进行边缘补偿，以使所述坏元检测模板能够覆盖像元点：
[0064]
条件一、所述待检测像元点的行号i《(n+1)/2；
[0065]
条件二、所述待检测像元点的列号j《(n+1)/2；
[0066]
条件二、所述待检测像元点的行号i》m-(n-1)/2；
[0067]
条件四、所述待检测像元点的列号j》n-(n-1)/2；
[0068]
其中，m为所述红外图像的像元阵列的行数，n为所述红外图像的像元阵列的列数，i为自然数，0《i≤m，j为自然数，0《j≤n。
[0069]
在本实施例中，m的取值为512，n的取值为640，i的取值范围为：0《i≤512，j的取值范围为：0《j≤640。
[0070]
因为在对红外图像的像元阵列中的各个像元均需要检测，对于一些位于边缘的像元点，即行号偏小或偏大、和/或列号偏小或偏大的像元点，在采用坏元检测模板进行框选时，坏元搜索窗口不能覆盖到n
×
n个像元点，只能覆盖到部分像元点，因此需要对红外图像进行边缘补偿，即在红外图像的边缘补充一些像元点，以确保所述坏元检测模板能够覆盖像元点。接下来分情况来说明边缘补偿的方法。
[0071]
情况一：当所述待检测像元点的行号i《(n+1)/2时，所述边缘补偿方法包括：将所述红外图像的像元阵列中行号大于1、且小于或等于(n+1)/2-i+1的像元点，以行号为1的像
元点所在的直线作为镜像轴进行镜像复制。
[0072]
具体是指待检测像元太过靠近红外图像上边缘的情况，请参考图3，所述待检测像元为a(i，j)，i＝3，j＝8，坏元检测模板的中心点与a点相对，i《(n+1)/2，即i《5，此时窗口只能框选到63个像元，因此需要进行边缘补偿，具体的边缘补偿办法为：以第1行像元点所在的直线作为镜像对称轴，将行号大于1、且小于或等于3的像元点向上对称翻转，得到边缘补偿后的红外图像的像元分布如图4所示，此时，搜索窗口能够框选到81个像元。需要说明的是，此处“对称翻转”实质是将相应位置的像元的灰度值进行翻转，因为在判断过程中，是利用像元灰度值的比较来计算的。
[0073]
情况二：当所述待检测像元点的行号i》m-(n-1)/2时，所述边缘补偿方法包括：将所述红外图像的像元阵列中行号大于或等于2m-(n-1)/2-i、且小于m的像元点，以行号为m的像元点所在的直线作为镜像轴进行镜像复制。
[0074]
具体是指待检测像元太过靠近红外图像下边缘的情况，假设待检测像元为b(i，j)，i＝512，j＝8，坏元检测模板的中心点与b点相对，i》m-(n-1)/2，即i》508，此时窗口只能框选到45个像元，因此需要进行边缘补偿，具体的补偿办法为：以第512行(即最后一行)像元点所在的直线作为镜像对称轴，将行号大于或等于508、且小于508的像元点向下对称翻转，得到边缘补偿后的红外图像的像元分布情况，此时，搜索窗口能够框选到81个像元。需要说明的是，此处“对称翻转”实质是将相应位置的像元的灰度值进行翻转，因为在判断过程中，是利用像元灰度值的比较来计算的。
[0075]
情况三：当所述待检测像元点的列号j《(n+1)/2时，所述边缘补偿方法包括：将所述红外图像的像元阵列中列号大于1、且小于或等于(n+1)/2-j+1的像元点，以列号为1的像元点所在的直线作为镜像轴进行镜像复制。
[0076]
具体是指待检测像元太过靠近红外图像左边缘的情况，假设待检测像元为c(i，j)，i＝8，j＝3，坏元检测模板的中心点与c点相对，j《(n+1)/2，即j《5，此时窗口只能框选到63个像元，因此需要进行边缘补偿，具体的边缘补偿办法为：以第1列像元点所在的直线作为镜像对称轴，将列号大于1、且小于或等于3的像元点向左对称翻转，得到边缘补偿后的红外图像的像元分布情况，此时，搜索窗口能够框选到81个像元。需要说明的是，此处“对称翻转”实质是将相应位置的像元的灰度值进行翻转，因为在判断过程中，是利用像元灰度值的比较来计算的。
[0077]
情况四：当所述待检测像元点的列号j》n-(n-1)/2时，所述边缘补偿方法包括：将所述红外图像的像元阵列中列号大于或等于2n-(n-1)/2-j、且小于n的像元点，以行号为n的像元点所在的直线作为镜像轴进行镜像复制。
[0078]
具体是指待检测像元太过靠近红外图像右边缘的情况，假设待检测像元为d(i，j)，i＝8，j＝640，坏元检测模板的中心点与d点相对，j》n-(n-1)/2，即j》636，此时窗口只能框选到45个像元，因此需要进行边缘补偿，具体的补偿办法为：以第636列(即最后一列)像元点所在的直线作为镜像对称轴，将列号大于或等于636、且小于640的像元点向右对称翻转，得到边缘补偿后的红外图像的像元分布情况，此时，搜索窗口能够框选到81个像元。需要说明的是，此处“对称翻转”实质是将相应位置的像元的灰度值进行翻转，因为在判断过程中，是利用像元灰度值的比较来计算的。
[0079]
上述四种情况分别针对红外图像的像元阵列中相对靠近上边缘、下边缘、左边缘
以及右边缘的待检测像元的检测，提出了具体的边缘补偿方法。在实际应用当中，还有一些待检测像元是位于红外图像的像元阵列四角处的，即通过上述镜像复制翻转的方法进行边缘补偿后，仍然无法满足坏元检测模板的窗口各个位置全部都对应有像元点，因此需要对此种情况进一步进行边角补偿。
[0080]
所述边角补偿方法具体包括：首先确定距离待检测像元最近的红外图像的角(其中所述红外图像为矩形结构，其包含四个顶角，分别为左上顶角、右上顶角、左下顶角和右下顶角)并记作目标顶角；然后确定镜像对称轴，该镜像对称轴经过目标顶角，且垂直于经过该目标顶角的红外图像的一条对角线；最后根据缺少的像元点的数量，将红外图像上靠近目标顶角处的像元点关于镜像对称轴作镜像复制翻转，以使得所述坏元检测模板的窗口各个位置全部都对应有像元点。
[0081]
接下来，以图5所示的情况对边角补偿进行进一步的说明。
[0082]
图5中，在对待检测像元(3,3)进行检测时，需要先进行边缘补偿，即需要进行上边缘补偿和左边缘补偿两次边缘补偿，上边缘补偿对应图中x1区域，左边缘补偿对应图中x2区域，两次边缘补偿补偿完毕之后，仍然无法满足坏元检测模板的窗口各个位置全部都对应有像元点，此时需要进行边角补偿：首先确定了距离待检测像元最近的红外图像的角为左上顶角，将其作为目标顶角；其次选定了经过左上顶角、且垂直于左上顶角和右下顶角连线的直线作为镜像对称轴；最后将左上顶角处的像元点按需向左上方翻转，边角补偿对应图中x3区域，在本实施例中，x3区域中的四个像元点分别为像元(2,2)、(1,2)、(2,1)和(1,1)；至此，9
×
9的坏元检测木块的窗口各个位置全部都对应有像元点。
[0083]
本技术提供的红外图像坏元检测方法应用于fpga平台上，9
×
9的坏元检索模板在fpga平台上实现的硬件结构如图6所示。本技术中共需要n-1，即8个缓存fifo、以及160个加法器的计算资源，采用流水线结构设计，每个时钟周期处理一个像素，从而实现即时输出。
[0084]
具体地，采用fpga平台进行并行处理，在读取红外图像的像元时，是一行一行进行读取的，也就是说对于9
×
9的坏元检索模板，一共需要读取9次，因此我们采用8个缓存fifo先缓存8行像元数据，然后再对9行像元数据分别进行作差处理，即将各行的9个像元点的灰度值分别与中心点像元的灰度值进行作差处理；一共有80个数据做减法，与设定阈值比较大小之后还需要计数还需要做80次加法运算，因此一共需要160个加法器。
[0085]
本技术采用fpga平台进行并行处理，相对于dsp平台的串行处理，可以节约时间。此外，现有的坏元检索方法，即基于图像响应值的坏元空间搜索方法中，对于9
×
9的坏元检索模板需要进行9！次比较运算，因为其需要先求搜索窗口内的像元灰度值的中值，然后再将中值与待检测像元的灰度作差后判断其是否落在设定阈值内来判断待检测像元是否为坏元，这里“中值”是指窗口内的n
×
n个像元各自灰度值排序的中间值，中值求解的过程中，需要将各个像元值进行比较，计算量较大；而本技术将现有技术中9！次比较运算转化为了80次减法运算和80次加法运算，大量节约了fpga内部资源。
[0086]
当需要将坏元检索模板进行扩阶时，例如将其由9
×
9模板扩为10
×
10模板时，现有技术中的检测方法，需要在原来低阶模板计算的基础上增加9
×
9！次比较运算，而本技术提供的坏元检测方法，只需要增加19次减法运算和19次加法运算，即在需要扩阶的情况下，本技术的计算量与现有技术的方法相比也是大大降低的。
[0087]
本技术提供的红外图像坏元检测方法，将计算量巨大的坏元检测模板移植到了
fpga平台上，实现了该技术的工程化应用，将n！次比较运算转变为n
×
(n-1)次减法运算和n
×
(n-1)次加法运算，节约了大量的资源，实现了高阶搜索模板的流水线即时输出；在由n
×
n坏元检测模板扩为(n+1)
×
(n+1)坏元检测模板时，由原来的增加n
×
n！次比较运算变为增加2
×
n+1次减法运算和2
×
n+1次加法运算，扩展性强。
[0088]
本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想。以上所述仅是本技术的优选实施方式，应当指出，由于文字表达的有限性，而客观上存在无限的具体结构，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进、润饰或变化，也可以将上述技术特征以适当的方式进行组合；这些改进润饰、变化或组合，或未经改进将发明的构思和技术方案直接应用于其他场合的，均应视为本技术的保护范围。

技术特征：

1.一种基于fpga的红外图像坏元检测方法，其特征在于，所述方法包括如下步骤：选取大小为n
×
n的坏元检测模板，n为大于1的奇数；将所述坏元检测模板置于红外图像的像元阵列中，并将待检测像元点作为所述坏元检测模板的中心点，得到参考像元点集；所述参考像元点集包括与所述待检测像元点相邻的n
×
n-1个参考像元点；获取所述参考像元点集中各个参考像元点的灰度值，得到参考像元灰度数据集；计算所述参考像元灰度数据集中各参考像元点的灰度值与所述待检测像元点的灰度值的差值，得到差值数据集；统计所述差值数据集中差值数据的绝对值小于设定阈值的数据个数，得到第一个数；判断第一个数是否大于n
×
n/2，若是，则判定所述待检测像元为正常像元点，若否，则判定所述待检测像元为坏元点。2.根据权利要求1所述的基于fpga的红外图像坏元检测方法，其特征在于，在将所述坏元检测模板置于红外图像的像元阵列中时，若所述待检测像元点在所述红外图像中的位置满足如下条件，则对所述红外图像进行边缘补偿，以使所述坏元检测模板能够覆盖像元点：条件一、所述待检测像元点的行号i<(n+1)/2；条件二、所述待检测像元点的列号j<(n+1)/2；条件二、所述待检测像元点的行号i>m-(n-1)/2；条件四、所述待检测像元点的列号j>n-(n-1)/2；其中，m为所述红外图像的像元阵列的行数，n为所述红外图像的像元阵列的列数，i为自然数，0<i≤m，j为自然数，0<j≤n。3.根据权利要求2所述的基于fpga的红外图像坏元检测方法，其特征在于，当所述待检测像元点的行号i<(n+1)/2时，所述边缘补偿方法包括：将所述红外图像的像元阵列中行号大于1、且小于或等于(n+1)/2-i+1的像元点，以行号为1的像元点所在的直线作为镜像轴进行镜像复制。4.根据权利要求2所述的基于fpga的红外图像坏元检测方法，其特征在于，当所述待检测像元点的行号i>m-(n-1)/2时，所述边缘补偿方法包括：将所述红外图像的像元阵列中行号大于或等于2m-(n-1)/2-i、且小于m的像元点，以行号为m的像元点所在的直线作为镜像轴进行镜像复制。5.根据权利要求2所述的基于fpga的红外图像坏元检测方法，其特征在于，当所述待检测像元点的列号j<(n+1)/2时，所述边缘补偿方法包括：将所述红外图像的像元阵列中列号大于1、且小于或等于(n+1)/2-j+1的像元点，以列号为1的像元点所在的直线作为镜像轴进行镜像复制。6.根据权利要求2所述的基于fpga的红外图像坏元检测方法，其特征在于，当所述待检测像元点的列号j>n-(n-1)/2时，所述边缘补偿方法包括：将所述红外图像的像元阵列中列号大于或等于2n-(n-1)/2-j、且小于n的像元点，以行号为n的像元点所在的直线作为镜像轴进行镜像复制。7.根据权利要求1所述的基于fpga的红外图像坏元检测方法，其特征在于，n的取值为9。8.根据权利要求1所述的基于fpga的红外图像坏元检测方法，其特征在于，所述设定阈
值的取值范围为50-200。

技术总结

本申请提供一种基于FPGA的红外图像坏元检测方法，包括：选取大小为n

技术研发人员：

倪锋 原亮 马金鹏

受保护的技术使用者：

天津津航技术物理研究所

技术研发日：

2022.09.23

技术公布日：

2022/12/30