第50卷第5期 V〇1.50 No.5
红外与激光工程
Infrared and Laser Engineering
202丨年5月
May 2021
野兔的生活习性
刘斌“2，诶倩u，赵静K2，张子森'李志伟u，张宝峰u
(1.天津理工大学天津市复杂工业系统控制理论及应用重点实验室，天津300384;
2.天津理工大学电气电子工程学院，天津300384;
3.天津职业技术师范大学天津市高速切削与精密加工重点实验室，天津300222)
摘要：图像清晰度评价函数是聚焦恢复深度法（Depth from Focus,DFF)实现三维形貌测量的核心，
直接决定了深度方向的测量精度。文中提出了一种基于高频方差熵的图像清晰度评价函数，与常用函
数对比了清晰度比率、灵敏度因子两个定量指标，结果表明所提函数优于常用函数。通过对所提函数
获得的清晰度评价曲线进行高斯曲线拟合，实现了深度方向聚焦位置的精确计算。对文中方法开展了
聚焦重复性与标准台阶高度测量测试，重复性聚焦实验的测量标准差为2.82 nm，台阶高度测量标准差
为12叫1，验证了文中方法用于高精度非接触三维测量的可行性。
关键词：三维形貌；图像清晰度评价函数；高频方差熵；高斯拟合
中图分类号：TN29 文献标志码：A DOI：10.3788/IRLA20200326
3D profile measurement based on depth from focus method using high-frequency component variance weighted entropy
image sharpness evaluation function
Liu Bin1,2,Qiao Qian1,2,Zhao Jing1,2,Zhang Zimiao3*,Li Zhiwei1,2,Zhang Baofeng12
(1. Tianjin K e y Laboratory of Control Theory &Applications in Complicated System,
Tianjin University of Technology, Tianjin 300384, China;
2. School of Electrical and Electronic Engineering, Tianjin University of Technology, Tianjin 300384, China;
3. Tianjin K e y Laboratory of High Speed Cutting & Precision Machining, Tianjin University of
Technology and Education, Tianjin 300222, China)
Abstract:Image sharpness evaluation function is the core of Depth from Focus (DFF)method for3D profile measurement.Crucially,the accuracy of depth measurement is determined by the evaluation function.An image sharpness evaluation function using high-frequency component variance weighted entropy was proposed.The quantitative indicators including the resolution ratio and the sensitivity factor were used to test the proposed function and the common functions.The comparative data showed that the proposed function could achieve better focusing performance than the other functions.The focusing position in depth direction could be precisely confirmed by implementing the Gaussian fitting to the image sharpness curve calculated through the proposed fun
ction.Focusing repeatability and standard step height measurement were tested.The standard deviation of the
收稿日期:2020-09-07；修订日期:2020-09-15
基金项目：国家自然科学基金面上项目（
61975151，
61308120)；天津市“项目+团队”重点培养专项（工业经济
X C202054)；天津市科技发展战略研究计 划项目（
18Y F C Z Z C00320)；天津市科技计划项目（
18Z L Z N G X00040)；天津市自然科学基金（
青年基金项目)(19JCQNJC04200)
作者简介：刘斌，副教授，博士，主要从事激光及光电测试技术、视觉检测等方面的研究。
谯倩，硕士，主要从事激光及光电测试技术、视觉检测等方面的研究。
通讯作者：张子淼，副教授，博士，主要从事光电检测技术、图像处理等方面的研究。
route命令20200326-1
第5期红外与激光工程
www.irla第50卷
data of the focusing repeatability experiment was2.82 ^m.And the standard deviation of the measurement height of the standard step was 12 |im.The result verifies the feasibility of the proposed method for high precision non-contact3D measurement.
Key words:3D profile;image sharpness evaluation function;high-frequency component variance weighted entropy;Gaussian fitting
〇引言
随着微纳米制造技术、微结构元器件加工技术的 发展，机械、电子、生物等方面的研究对象已由宏观 领域向微观领域转变。要实现微结构元器件的高精 度加工，必须建立相应的高精度测量方法。面向微小 结构的高精度三维测量已广泛应用于精密制造m、生 物医疗[2-'航空航天[5_6]等领域，推动着工业制造水 平的不断提高。
目前适于微小结构三维形貌的非接触式测量方 法主要有：双目视觉[7]、光度立体法[8]、白光干涉法[9]、激光三角测量法[1°]、结构光法【1|】、聚焦恢复深度法[12_131。其中聚焦恢复深度法(Depth from Focus,DFF)通过对单相机采集到的序列图像进行清晰度评价计 算，得到清晰度最高的聚焦位置[14]，进而实现三维形 貌测量。DFF法避免了立体视觉中的遮挡、匹配等问 题的出现，适合测量范围较小的物体，具有精度高、成 本低的特点，因此得到了广泛应用。瑞典HEXAGON 公司、德国Zeiss公司与德国Werth公司将单相机作 为探头搭载在CMM上，实现了基于DFF方法的三维 形貌测量。2013年，Mahmood M T【15]提出了非线性 全变差(TV)算子作为图像清晰度评价函数实现了基 于DFF的三维形貌测量。2014年，Jia H K等[161基于 DFF实现了对铝膜的三维屈曲形貌的测量。山东大 学的宋江山采用DFF方法对物体表面三维形貌进 行测量，设计了电动显微镜测量系统，实现了微小零 件的表面三维形貌的非接触测量。北京理工大学的 高海波[18]提出了微纳阵列三维形貌测量方法，通过数 字重聚焦算法获取焦点堆栈，最后采用DFF方法获 得微纳阵列深度图从而重构表面三维形貌。长春理 工大学的王志桐[13]基于DFF方法实现了微小铣削零 件的表面三维形貌检测。浙江大学的武祥吉M设计 了一套基于DFF的探针台Z向距离测量系统。
图像清晰度评价函数是基于DFF法的三维形貌 测量的关键，其清晰度计算的精确度与稳定性直接决 定系统测量精度。2012年，国外学者Rafael Redondo 等[191利用医学显微镜系统拍摄到的图像研究分析了 Power squared、Threshold、Variance等图像清晰度评价函数的精度误差。2014年，将图像熵
评价函数引人到DFF中。2017年，褚翔提出了一种改进的基于8方向的Sobel算子的清晰度评价算法，比传统的两方向的Sobel算子具备更好的抗干扰 性。2018年，王志桐[13]将局域方差信息熵作为清晰 度评价函数引人DFF实现三维形貌测量。
文中通过实验对常用的清晰度评价函数进行了 验证，分析了存在的问题。在局域方差信息熵的基础 上，提出了基于高频方差熵的图像清晰度评价函数。采用定性与定量指标对常见的清晰度评价函数与文 中函数的清晰度评价曲线进行了对比。通过对文中 算法所获得的清晰度评价曲线进行高斯拟合，实现系 统聚焦位置的插值重构，进而实现三维轮廓的非接触 测量。设计了聚焦重复性测试和高度测量实验，验证 了文中方法的重复性精度。
1测量方法
DFF方法是一种基于透镜成像关系，通过聚焦分 析获取高度的三维形貌恢复算法[21_221，测量方法示意 图如图1所示。
如图1(a)所示，硬件系统中由相机成像系统作为 测量探头，计算机可通过控制高精度电动三维位移台，实现对被测物表面轮廓的扫描覆盖。
相机成像系统的作用类似于接触式测量法中的 探针，但以基于图像清晰度的聚焦判定代替了传统的
力接触，实现非接触的轮廓点Z轴坐标的测量，其原 理如图1(b)所示。测量过程中，相机成像系统对准轮 廓某个点，在Z轴方向扫描采集一组表面图像序列。对应Z轴扫描位移的不同，序列中的图像有聚焦清晰 与模糊的区分。采用清晰度函数对每张图像进行清 晰度数值计算，可获得离散清晰度数值与对应Z轴坐 标的关系曲线。通过曲线拟合，获取曲线的清晰度最 大值位置，即得到精确的聚焦位置，从而确定被测物 体表面点的Z轴坐标。
20200326-2
第5期
红外与激光工程
www .irla 第50卷
图3常用清晰度评价函数曲线
Fig.3 Curves of the common image sharpness evaluation functions
陈克恭
方差信息熵在接近最大值点附近，其评价曲线变化趋 于平缓，灵敏度降低，会引起聚焦最清晰点的位置的 拟合误差，影响了后续z 轴坐标的测量精度。
2.1高频方差熵清晰度评价函数
清晰的图像比模糊的图像包含更多的信息，特别
清晰度评价值的精确和稳定决定了 Z 轴坐标的测量 精度。
常用的清晰度评价函数有Tenengrad [231、Bren
ner 124]、 Laplacian 丨25]、 Roberts 126】、 Absvar 12' 信息熵 （En - tropy )[2l ]与局域方差信息熵（Local Variance Entropy ,
l v e )[2\
使用上述清晰度评价函数对实验采集的图
像序列进行处理：采集图像序列如图2所示，相邻图 像之间的实际Z 轴坐标间隔为15 nm 。
为了便于对比，将所有清晰度评价曲线进行了归 一化处理，获取到的常用清晰度评价曲线对比图如
阁3所示。
从图3中可以看出，Absvar 算法已无法判定图像 序列的清晰度，信息熵算法在离焦位置清晰度数值不 稳定。Tenengrad 、Brenner 、Laplacian、Roberts 与局域
l
八
/jeanette lee
Object
Z-axis scan
3D profile
(d) 3D profile data
图1基于DFF 的三维形貌测量方法示意图
Fig. 1 Schematic diagram of 3D profile measurement based on DFF 在上述实现单点测量的基础上，如图1(c )所示，位移台可载着被测物沿义轴与y 轴移动，对物体表面 多个点位置进行z 轴垂直扫描计算坐标，从而完成表 面轮廓的形貌测量，最终形成三维点云数据（图i (d ))。
2改进的图像清晰度评价函数
lasurement oasea on
图2采集到的图像序列
Fig.2 Acquired image sequence
由测量方法可知，采用DFF 原理实现对被测物
Z 轴坐标的测量，其关键在于图像清晰度评价函数，
Image sharpness evaluation curve
* Tenengrad Bbsvar ^ Brenner Laplacian Roberts - Entropy ^ LVE
20200326-3
第5期红外与激光工程
www.irla第50卷
是作为图像高频分量的纹理特征。清晰的图像相比 于模糊的图像，包含了更多更精细的高频分量：传统
的局域方差信息熵需要计算图像中所有像素点的局 域方差。然而图像中低频部分像素点的灰度都较接 近，变化缓慢，计算低频部分的方差信息对整体评价 算法而言影响不大。并且，局域方差信息熵对图像中 存在的每一个灰度级都要进行概率计算。
在局域方差信息熵的基础上，文中提出了基于高 频方差熵（High-frequency Component Variance Weighted
Entropy,HCVWE)的清晰度评价函数，优化计算逻辑, 只对高频部分的像素灰度进行信息熵统计计算，充分 利用了图像的高频信息。HCVWE函数的定义如下：
n
F,a,= -Y jP i6\x…y i)^Pi(1)
1=1
式中：为HCVWE函数计算的图像清晰度数值; «为图像高频分量的像素点个数;A为第》•个高频分 量像素灰度级出现的概率;&为第/个高频分量像
素的局域方差，其公式为：
!11
SLy,)= Q X Z t/(A：i+ a'yi + b)~^：⑵
fl=-l b=-l
式中：为图像/以(知只)为中心，3x3为邻域的局 域方差;/u为该邻域内的灰度平均值；/U+ a a+ fc)为图像U+ a,y,+的处像素点的灰度值。HCVWE使用 3x3邻域对高频分量进行方差计算，重点关注高频纹 理特征像素的小邻域内的统计信息，能够较好地避免 图像本身灰度分布和噪声干扰，也控制了运算量。2.2 HCVWE函数计算流程
根据HCVWE的定义可知，计算流程首先要从图 像中提取高频分量像素。文中采用Canny算子进行 高频分量像素提取，但其阈值的选取直接影响高频分 量提取的结果。文中计算序列图中每幅图像归一化 后的Tenengrad梯度值用以确定序列图中对应图像 Canny算子的阈值，具体计算公式如下：
k m=l-m x Em)(3)式中：t为适用于序列中第《张图像的Canny算子的 阈值；为序列中第w张图像的Tenengrad归一化梯 度值。
图4为使用自适应阈值和文中阈值方法的Canny 算子进行处理的效果对比图。可以看出，自适应阈值 易于受图像本身灰度分布和噪声干扰影响，对于清晰和模糊图像的提取结果均中存在较多的离散无纹理 规律的像素。而文中采用Tenengrad梯度值来计算阈 值，由于其与纹理特征清晰程度相关，因此在清晰图 像中保留了足够的纹理特征像素点，并且抑制了噪点。
通过Canny算子求得原图/〇<：,>/)的高频分量图 像从中获取高频分量在原图中对应像素。然后根据公式（1)对高频分量像素进行统计计 算，得到清晰度评价数值。文中设计的具体计算流程 如图5所示。
(a)模糊图像（b)自适应（c) Tenengrad
(a) Blurred image 阈值 Canny 阐值 Canny
(b) Adaptive (c) Tenengrad
threshold Canny threshold Canny _■
(d)清晰图像（e)自适应(f) Tenengrad
(d) Sharp image 阈值 Canny 阈值 Canny
(e) Adaptive (f) Tenengrad
threshold Canny threshold Canny
图4 Canny算子处理结果
Fig.4 Canny operator processing result
图5高频方差熵评价函数的计算流程
Fig.5 Flow chart of the calculation process of HCVWE function
20200326-4
第5期
红外与激光工程
www .irla 第50卷
Fig.6 Curves of the proposed HCVWE and common image sharpness
evaluation functions
图6高频方差熵与常用清晰度评价函数曲线
从图6可以看出，文中提出的高频方差熵评价函 数在陡峭度和单峰性上都较优于其他清晰度评价算 法。
尤其是在最大清晰度值附近，常见的评价算法已 趋于平缓，文中提出的算法在最大值处相较于其左右 评价值的变化显著，可以有效判定最清晰的图像位置。
为了更客观地表达评价算法的性能，利用定量评 价指标清晰度比率和灵敏度对以上清晰度评价函数 进行对比分析。定义如下：
(1) 清晰度比率
心跟爱一起走清晰度比率/?为清晰度评价曲线中，最大值与最 小值的比值，其定义如下：
/?= —
(4)
/m in
式中：/max 为曲线的最大值;/min 为曲线的最小值。越大，说明通过该清晰度评价函数得到的正焦图像 与离焦图像的清晰度值差异越大。
(2) 灵敏度因子
灵敏度因子可以用来表征清晰度评价函数曲线 最大值附近的变化程度。灵敏度因子越高，曲线最大 值附近的变化越大，当灵敏度因子较小时，会影响聚 焦判定的准确度。图7所示为不同评价曲线的灵敏 度示意图。
当曲线F 2横坐标变化e ，其值变化分别为扎
2.3清晰度评价函数实验对比
与图3使用相同的图像序列，对HCVWE 函数与 常用的清晰度评价函数进行对比，清晰度评价曲线对 比图如图6所示.：
(Z f n *x ，y ^j a x )
图7灵敏度因子示意图
Fig.7 Schematic diagram of the sensitivity factor
表明清晰度评价曲线f 2的灵敏度高于a 。
灵敏度因子的定义如下：
ax 一 f (^max
⑶
f (^m a x
式中：£ = ±丨。/max 为清晰度评价曲线的最大值; /^m a x +d 为评价曲线最大值的横坐标变化£时，曲线 的函数值。/sen 越大，说明清晰度函数曲线的变化越 剧烈，越有利于到聚焦图像位置。
表1为定量评价指标对清晰度评价函数的评价 结果，其中值评价的是各函数直接计算值，而非其 均一化数值。
表1定量评价指标
Tab.l Quantitative evaluation indexes
Functions R
/s e n (^0
/s e n
Tenengrad 1.5190.009
0.038Brenner 2.3380.0120.017Laplace 1.5780.0390.007Roberts 1.5420.0290.003LVE
4.1150.0190.059HCVWE
4604.634
0.025
0.056
从表1可知，文中提出的高频方差熵函数的清晰 度比率明显高出其余算法。高频方差信息熵算法的 灵敏度因子总体表现较好，在保证清晰度评价曲线单 峰性和无偏性的同时，有效提高了灵敏度=
3聚焦位置拟合
通过运动控制系统只能实现Z 轴离散位置的扫
描采集，不能简单地在图像序列中寻最清晰图像来 判定聚焦位置。应通过对计算得到的清晰度评价曲 线进行拟合，计算拟合曲线的峰值点来代替原始评价
1I
U e 0&
a Im l o o o o o o o o o
o
n 一 E > s s u d l e o
qs
3S B E I
P 3ZI
13
目
o z
20200326-5
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议