2021年1月计算机工程与设计Jan.2021
第42卷第1期COMPUTER ENGINEERING AND DESIGN Vol.42No.1
吴涛，袁亮十
(新疆大学机械工程学院，新疆乌鲁木齐830047)
摘要：针对目标跟踪过程中的遮—、形变以及长时跟踪等问题进行研究，提出一种多特征融合且抗遮—的长时目标跟踪算法。以判别尺度空间(DSST)算法为框架，融合颜空间特征，引入APCE指标，增强目标位置的预测和抗遮-能力，提高算法的鲁棒性；增加随机蕨分类器检测机制，在跟踪失败时对目标进行重新检测定位；在模型更新阶段，利用帧差法调整模型的更新率。实验结果表明，改进算法在目标遮-、形变以及长时跟踪等复杂情况下的跟踪性能均优于其它经典算法。
关键词：相关滤波&抗遮—；长时跟踪；特征融合&随机蕨分类器
中图法分类号：TP391文献标识号：A文章编号：1000-7024(2021)01-0226-06肘型电缆头
doi：10.16208/j.issnl000-7024.202101033
Multi-feature fusion and anti-occlusion long-term object tracking algorithm
WU Tao,YUAN Lian g+
(School of Mechanical Engineering,Xinjiang University,Urumqi830047,China)
Abstract:Aiming at the problems of occlusion,deformation and long term tracking in the process of object tracking&a multi-feature fusion and anti-occlusion long term tracking algorithm was presented.The discriminating scale space(DSST)algorithm was taken as the framework.The color space features were integrated,the APCE index was introduced to enhance the prediction and anti-occlusion ability of the target position,and the robustness of the algorithm was improved.The detection mechanism of random fern classifier was added to redetect and locate the target when the tracking failed.The update rate of the model was adjusted using frame difference method.Experimental results show that the improved algorithm has better tracking performance than other classical algorithms under complex conditions such as object occlusion,deformation and long-term tracking.
Key words：correlation filtering；anti-occlusion；long term tracking；feature fusion；fern classifier
0引言
目标跟踪是计算机视觉领域的一个热点研究方向，涉及到目标特征提取、目标状态信息分析、目标运动信息的检测和识别等多种技术(
其中基于相关滤波的目标跟踪算法以其优越的跟踪速度和跟踪效率，近些年得到广大研究者的关注。Bolme等在目标跟踪中运用了相关理论，设计出一个最小误差输出平方和滤波器(MOSSE)，通过提取图像灰度特征进行跟踪。Henriques等旳提出核循环结构(CSK)跟踪算法，对相邻帧在频域上进行点乘操作，减少了运算量。之后，Henriques等归对CSK做了进一步改进引入多通道特征，提出了核相关滤波跟踪(KCF)算法，用梯度方向直方图(HOG)特征代替了灰度特征，使跟踪精度得以提高。针对尺度变换的问题，Danellj an等提出判别尺度空间(DSST)跟踪算法，通过二维位置滤波器和一维尺度滤波器来实现尺度的自适应变换。Ma等提出长时跟踪(LCT)算法，训练了随机蕨类重检测器，在长时跟踪上取得一定效果。研究发现，在遇到目标被遮挡、复杂背景、长时间跟踪时，这些基于传统相关滤波的算法所产生的误差会随着时间积累的越来越大，最终导致跟踪失效。
本文针对以上问题，提出一种融合特征的抗遮挡、长时间跟踪算法。该算法在DSST算法的基础上，在特征提取阶段融入颜特征，提高了滤波器在复杂背景情况下的
收稿日期：201910-30；修订日期：2020-01-09
基金项目：国家自然科学基金项目(61662075)；新疆维吾尔自治区重点研发任务专项基金项目(2018B
02011)；自治区自然科学基金项目(2019D01C021)
作者简介：吴涛1994-)，男，河南商丘人，硕士研究生，研究方向为目标跟踪；+通讯作者：袁亮(1972-)，男，新疆乌鲁木齐人，博士，教授，博士生导师，研究方向为图像处理、目标跟踪与机器人视觉导航。E-mail：*************
第42卷第1期吴涛，袁亮：多特征融合且抗遮挡的长时目标跟踪算法•227•
跟踪精度和鲁棒性。通过计算跟踪目标的置信度和样本响应值波动水平来判断目标的遮挡情况，在确认目标丢失之后触发随机蕨分类检测器进行重新检测、定位目标。同时，当样本响应值异常时，停止模板更新。
abp2631判别尺度空间（DSST）算法
在DSST算法中设计了两个相关滤波器，分别为位置滤波器和尺度滤波器，通过二者来实现目标的跟踪和尺度变换。且两个滤波器是相互独立的，在特征提取阶段可选
择不同的特征进行融合，其中的尺度估计方法也可和不具备尺度估计的跟踪算法相结合。
1.1位置相关滤波器
位置估计的方法基于MOSSE跟踪方法，通过学习和
训练得到一个位置相关滤波器，用此滤波器来确定目标下一帧的位置。MOSSE跟踪算法的思想是构造一个滤波器模板h，让该模板h与输入图像目标区域f做卷积运算如式（1）所示
g=f*h（1）用频域点乘来代替时域上的卷积运算，并运用快速傅
里叶变换的方法提高运算的速度，计算方法如式（2）所示
G=F］）H（2）DSST算法选择由灰度和HOG特征共同组成的多维特征4⑴…作为输入样本f，相对于MOSSE算法增加的HOG特征能使DSST算法更好地适应复杂场景的跟踪。通过相关滤波运算之后得到对应的滤波器响应输出g i，g2,g,}，在时间t时得到最优的滤波器h t，且h满足最小方
#=||$：=”*=—&『+A$；=1I|h M|2⑶
式中：f有^维，f为其中的第/维，I的取值范围为-,…,G，人为正则项（为避免式子解的分母为0，故引入参数人来消除输入样本频谱中的零频分量），当训练样本只有一个时，对/'进行求解得
GF=D
$"=i FF"+厂4)
对上式中D、I分别进行迭代更新得
D t=(1—.D—i+.GF4(5)
d
B=(1—.B—1+F"F"(6)
橡皮弹
k=1
式中：.代表学习率，对下一帧图像样本z有响应值
y=L-$k=i,(7)
I B+1!
最大响应值y max的位置即为估计位置。
1.2度相关滤波器
用于尺度估计的滤波器的设计是DSST算法中的亮点，算法中利用位置滤波器得到预测的目标二维位
置信息，以所预测的位置为中心，选取33个梯度尺度的候选区域，再采用一维的尺度相关滤波器搜索最优尺度区域，即为目标的尺度估计结果。
选取梯度候选区域块大小的依据为
a"q H#r,（{）-'?1，…,'—1*,⑻式中：W和r分别代表上一帧中目标框的宽度和高度；s表示
各不相同的尺度个数；“为尺度因子。
2算法
2.1融合颜空间特征
目标特征的选取环节特别重要，会直接影响到跟踪效果的好坏〔9*。DSST算法所选的目标特征为单一HOG特征，HOG特征常用来描述形状和边缘，对平移、光照变化和旋转具有一定不变性，在捕捉样本区域的局部形状信息时表现较好。但在背景中存在多噪声时，目标区域的梯度特征不再明显，HOG特征的描述能力减弱，此时容易造成目标丢失。针对这一弊端，本文在特征提取中融合颜（CN）特征来解决。
颜空间特征（CN）把RGB图像的三维颜映射为11通道的CN颜特征，能更好描述目标的颜信息，具备的目能，目形、移具有的
猎结构
棒性，能提高跟踪算法在复杂背景下的目标跟踪性能。
当多个特征进行融合时，可看成样本中多个通道信息被整合到一个向量中$=（$i,$2,…，$。），本文提取的HOG 和CN的特征向量分别记为：<%g、<!，根据相关滤波的多通道特性将两种特征向量相结合，得到如下公式
P=11<%g+12<!（9）式中：11、12代表两个特征向量相融合的系数，由经验可得二者参数均为0.5。则P=?1，…”］即为最终得到的融合特征向量。
2.2目标遮挡检测
在实际目标跟踪应用中，目标容易受到遮挡物遮挡跟丢，或是受到长时间的误差积累以及复杂背景的影响而丢失跟踪目标。本文算法对跟踪目标的状态做检测和判断，当确定目标丢失后，停止继续跟踪和模板的更新，然后利用重检测器对目标的位置和尺度进行重新估计。
当目标被遮挡时一般分为3种情况：轻微遮挡、严重遮挡、完全遮挡。当目标受到轻微遮挡，可正常跟踪并进行模型更新，当目标被严重遮挡甚至丢失，此时停止模板更新并启动重检测器。传统算法中用最大响应值F a*来判断跟踪状态，当F m大于一定阈值的时候即认为跟踪正常。但是如果目标被相似物遮挡产生跟踪漂移，此时的响应值依然很高，所以这一判据不可靠。针对这一问题，需要一种简单准确的目标遮挡检测机制来做出判断。
文中引入平均峰值相关能量APCE［10］，该指标可用于
•228•计算机工程与设计2021年
分析响应图的峰值情况和波动程度，其公式为
APCE=--------兰论_F g”B------------ (10)
mean)$w/(.Fw,H—F m n)2]
式中：F max、F mn分别表示响应图的最大、最小值；F'w.H中的W表示响应图的宽度；H表示响应图的高度；mean)*表示取平均运算。
APCE值反映了响应图的峰值与各点响应值的关系，当出现遮挡、模糊、丢失等情况时，响应图会发生波动。响应峰值越突出，起伏越小，对应的APCE值就越大。当目标被遮挡或跟踪异常时，响应图峰值变低波动变大，APCE值大幅减小。因此，分析响应图的波动计算APCE 值可以有效反映跟踪置信度，为判断遮挡程度提供了有力依据。
确认目标被遮挡之后，启用随机蕨分类器进行检测。随机蕨分类器常用于对多种目标进行分类识别，在用于视频目标检测时可分为两类，一类为要检测的目标，另一类为图像背景，进而计算两者在随机
蕨中的似然概率分布。随机蕨分类器是在朴素贝叶斯分类器的基础上发展来的，由贝叶斯分类器的思想可知，分类器的训练过程就是把样本特征映射到样本类别的过程。定义具有类别属性的大量样本D»=(广，严)，m=1,2,，其中—代表样本数量，/代表样本特征值，一般为N维向量，表示为
==(=1=2,…,=7)(11)设C为样本的类别，类别数量用K表示为
C(—1，>，…,CK }(12)分类器H表示为：=6C(
随机蕨分类器也可称作半朴素贝叶斯(Semi-Naive-Bayes)器朴素贝斯器是贝斯器
变过来的。根据其思想，即从由特征组成的集合中随机抽取/组大小相同的特征子集合，任一子集都代表一个随机蕨，设每个子集中都包含s个特征，则有
F i={fi,i,=,2,…，九,}(13)
假设每个随机蕨都是属性条件独立的，则全部特征的联合似然估计为
P(.=1,=2,…，=N>)=3?(兀>)(14)
,=1
应的器为
Cam(=)I agmax P(c)H P(F i c)(15)
,=1
由式(15)可知，随机蕨是通过随机蕨分类器随机提取多个特征所组成，因此可选择多个随机蕨进行联合近似计算。
2.3模板更新策略
传统相关滤波算法中，模型的更新策略为
I a t=(1—a)a i—i+aa n
—(16)
'X=(1—a^Xpre+a X n
式(16)对模型前后帧进行线性插值,a，和X分别表示下一帧样本模型的参数和模板,a—i和X)e分别表示前一帧样本模型的参数和模板,X n是由当前样本区域训练得到的值,a表示插值因子(模型更新率)，传统
相关滤波算法 中模型更新率是固定值。当a取值过小时，针对快速运动的目标难以及时更新参数，当a取值过大时，导致模型更新过快记忆过多背景区域信息，两种情况都会造成跟踪效果差甚至跟踪失败，所以a的大小选取对跟踪的性能有着显著影响。
APCE参数用大响应F m4x 和APCE值分别与文中定义阈值T1、02作比较，当F mx大于01和APCE值大于T时，更新滤波器模型，否则停止更新。
在模板更新时利用求解相邻两帧图像的平均差值的方法判断相邻帧模板区域的变化幅度。对大小为J X K的图像Z，用，和1分别表示相邻两帧的像素，则有公式
J K
$@3-@—1)
6=亠3——JK------------ (17)当"18时，模板更新率a取较大的值0.04；当32 618时，模板更新率a取适中值0.025；当6<3时，模板更新率a取较小值0.01。通过对模板更新率进行分段设定，可增强算法在遮挡、尺度变换等复杂场景下的稳定性。
改进的算法步骤如下：
(1)初始化图像，对目标区域第一帧循环采样得到样
集；
(2)目中的HOG CN特由(9)得到融合特征H，对特征向量训练得到滤波器模型；
(3)计算置信度指标血八APCE和当前目标响应值=，进行遮挡判断；
(4)若遮挡，则停止模板更新，启动检测机制；
(5)&通帧法计算模更率&
行模板更新。
3实验结果与分析
3.1实验环境与参数
本文采用Matlab R2018a作为开发平台，在Intel(R) Core(TM)i5-4460CPU，主频3.20GHz，内存8GB配置的计算机上进行实验验证。选择CSK)5*、KCF6、DSST7、LCT®*共4种算法与本文算法作对比。本文算法除模板更新率设置3个阶段值0.04、0.025、0.01夕卜，其余参数与DSST算法参数保持一致，其它算法均保持原参数设置不变。
3.2实验数据集与评估准则
为验证本文算法的可行性，采用OTB100[11]和UAV123[12]数据集作为实验数据，其中UAV123数据集里
第42卷第1期吴涛！袁亮：多特征融合且抗遮扌当的长时目标跟踪算法・229・
只选取50个长度在1000帧以上的图像序列用于评测算法的长时性能。在实验中采用中率两种评估指标来衡量。
(1)平均中心误差就是真实标定的中心位置与跟踪结果之间的平&平均中&算法的跟踪精度就越高，体现了算法跟踪的精确程度
#=槡(竝—$t)+(y e―y Q2(18)式中：($t,y Q和($e,y e)分别代表图像序列中目标和被测试算法所跟踪目标的中心位置。
(2)覆盖率体现了跟踪结果中的目标区域与真实目标的重合度的情况，覆盖率越大，算法跟踪的成功率越高式中：r(和厂t分别代表被测试算法和真实标注的目标边界框，S的值越大就表示成功率越高，反之就就越低。
3.3定量分析
一次通过性评估OPE(one-pass evaluation)是跟踪算法常用的评估标准，但是不同帧初始化对跟踪算法的性能有影响，所以本文引入时间鲁棒性TRE(temporal robustness evaluation)准则来分析在不同起始帧初始化时跟踪算法的鲁棒性。图1为5种算法在OTB100测试数据集TRE的。
由图1可看岀Ous与其它算法相比排在第一位&跟踪性能更好。在图1(a)的精度评估中，Ous与LCT基本持平，在跟踪成功率上相比LCT跟踪算法提高了 6.7%。
0urs[0.703]
位置误差阈值
i0urs[0.757]■■LCT[0.746]““DSST[0.72JL] ---KCF[0.719]—-CSK[0.592]
(a)距离精度曲线
覆盖率阈值
|DSST[0.664]LCT[0.659] 624]■■CSK[O.5O4] (b)成功率曲线
图1OTB100跟踪TRE评估曲线
为算法的时跟性能,UAV123数据集中选取50个帧数在1000以上的图像序列进行实验验证。如图2所示是5种跟踪算法在TRE下的跟踪精度和成功率的评测结果。从中可以看岀Ous算法的性能排在第一位，相比LCT跟踪算法在跟踪精度上提高了 6.7%，在成功率高17%(
0.8
0.7
0.6
0.5
悝0.4
0.3
0.2
0.1
位置误差阈值
0urs[0.681]■■DSST0663]•・・・LCT[0.638] ----KCF[0.607]—-CSI<[0.577]
⑼距离精度曲线
覆盖率阈值
0urs[0.593]■■DSST[0.577]•・・・LCT[O.5O5] ----KCF[0.477]—-CSI<[0.443]
(b)成功率曲线
图2UAV123跟踪TRE 评估曲线
・230・
氧化挂具计算机工程与设计
2021 年
表1内容为5种算法在OTB100上的运行速度，虽然
Ours 相比DSST 增加了计算量，但其35. 6 fps/s 的速度仍
可以满足实时跟踪的要求。
表1 5种跟踪算法运行速度对比
算法 速度/(frame ・s -1)
生命晶石
Ours 35.6LCT
29.3
DSST 49.7
表2实验图像序列特点
视频
数据集
帧数
主要属性
jogging1
OTB 298
遮挡、形变liquor OTB 1732
运动模糊、遮挡
Gym
OTB 759形变、旋转Tiger2OTB
356遮挡、运动模糊personl2_2
UAV 1012遮挡、光照变化wakeboard8
UAV
1534
形、视
算法
速度/(frame • s -1)
KCF
320. 6CSK
640.9
3.4定性分析
为了更好体现改进算法在遮挡情况下的跟踪效果，对5
种算法在图像序列上进行测试，6个图像序列上的实际跟 踪结果对比分析如图3所示，图像序列的参数见表2O
标再次岀现，此时Ous 和LCT 跟踪算法启动了目标检测
器，在80帧时再次检测到目标，而DSST 、KCF 、CSK 这
3种算法 全跟丢。
在图3 (b ) liquor 图像序列中，在第510帧和734帧时 目标分别被向右和向左移动的相似物遮挡时，CSK 和DSST
算法跟踪到遮挡物导致跟踪失败&在873帧时向右移动目标
在图3 (a ) jogging 1图像序列中跟踪目标为左侧行人,
(c) Gym
(d) Tiger2
(e) person 12_2
(f) wakeboard8
-KCF
Ours LCT
DSST CSK
图3 5
种算法的跟踪结果
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议