文章编号 :100621630 ( 2009) 0420030205
徐 骋1 ,刘永才2 ,刘汉周2
(1 . 哈尔滨工业大学 航天学院 ,黑龙江 哈尔滨 150001 ; 2 . 北京机电工程研究所 ,北京 100074)
摘 要 :根据相机成像拖影长度与相机运动及曝光时间的关系 ,提出一种基于成像拖尾效应的图像测速方法 , 给出了用航拍相机进行图像测速的实施方案 。建立了影像与成像平面和地面景物间的相对运动模型 ,设计了基于 互相关分析的拖影长度测量方案 ,给出了测量算法 ,并分析了像素尺寸和成像比例等对测速精度的影响 。算例表 明 :该法对速度无剧烈变化的准匀速运动的测速效果较好 ,为飞行器实时飞行速度测量提供了一种解决方案 。
关键词 :图像测速 ; 成像拖尾 ; 互相关分析 ; 拖影长度估计
中图分类号 : T P 391 . 9
文献标识码 : A
Vel oc i ty Mea s ure m ent Algorithm B a s ed on Smearing Ef f e ct
XU Che n g 1
, L IU Y o n g 2cai 2
, L IU Ha n 2zho u
2
(1 . S choo l of A s t r o n a u t ic s , Ha r b in In stit u t e of Tech n o lo g y , Ha r b in Heilo n gjia n g 150001 , Chi n a ;
2 . Beij n g Elect r o 2Mecha n ical Engineering In stit u t e , Beijing 100074 , China )
Abstract : A cco r d ing to t h e relat io n ship bet w een t h e smear gho s t a n d t h e relative mo v ement of t h e ca m era a n d t he t a r get , a n i mage met ho d of velo cit y mea surement ba sed o n t he smea ring eff ect wa s p resent ed in t hi s p a per . The scheme of velocit y mea surement using aerial imaging ca mera wa s p re sent ed. The relative mo t io n mo del of t h e imag e to t he imaging p lane and gro und t a r get wa s e st abli shed. The mea surement ba sed o n cro ss 2co
r relatio n a nalysi s fo r smea r lengt h wa s de s igned , a n d t h e mea s urement alg o r it h m wa s given o u t . The eff e ct s of t h e p ixel size a n d scale of t he camera o n t he mea surement accuracy were analyzed. The re sult s sho wed t hat t he new alg o r it h m had a g oo d p erfo r ma n ce i n mea suring velo cit y of t he ai rcraf t f l ying in a unifo r m sp eed , w hich wa s p ro vided a s ol u tio n fo r t h e aircraf t velo cit y mea s uri n g in real time .
K ey w ords : V elocit y mea s urement ; Smea r ing eff e ct ; Cro s s 2co r r elatio n ; Trailing smea r lengt h e s timating
方法测量成像尾迹长度 ,结合曝光时间参数 ,即可求
得影像相对成像平面的移动速度 ,进而根据相机的
引言
相机的成像拖尾效应 ,是造成相机成像模糊的 重要原因之一。这主要是曝光过程中相机成像平面
与影像间发生了相对运动 ,导致成像出现拖尾 。因 曝光时间一定时成像拖影的长度和成像平面与影像 间的相对运动速度非常直接相关 ,故在通常的固定 目标拍摄中 ,可通过测量相机运动速度 ,结合曝光时 间参数 ,估算成像拖影的长度 ,并用拖影消除算法消 除成像拖影 ,获得清晰的影像 。这也
是当前数码相 机常用的数码“防抖”技术之一。反之 ,若采取适当
0 成像几何关系 ,获取相机与景物间的相对运动速度 。对装有对地成像装置的无人飞行器 ,可利用实时航 拍相片 ,求取载机相对地面的运动速度 。与目前的 图像序列测速算法相比 ,该法直接利用了成像拖影 中包含的对象运动信息 ,只需单幅图像即可完成测 量 ,避免了采用多幅图像处理所需的图像对准、特征
点匹配等复杂处理 ,算法更为简单有效[ 1 、2 ] 。为此 ,
本文对一种基于成像拖尾效应的图像测速算法进行 了研究。
收稿日期 :2007211206 ; 修回日期 : 2007211226
作者简介 :徐 骋( 1980 —) ,男 ,博士生 ,主要研究方向为导航制
成像拖尾原理与过程分析
1
动是造成成像拖尾的主要原因 。对用耦合电荷器件 ( CCD ) 进行采样的数码相机来说 ,曝光过程中如影 像发生运动 ,且位移超过 1 个像素宽时 ,就会产生拖 尾现象 ,而拖影长度即为影像在曝光过程中的相对 位移长度 。
机飞行速度 v c 。
1 .
2 成像拖尾原理及消除算法
如何提高课堂教学的有效性当相机以匀速直线运动时 , 设其实际影像为
f ( x , y) , 成像在 x 、y 向的运动分量分别为 x 0 ( t) ,
y 0 ( t) , 忽略其他因素影响 , 其成像拖尾造成的模糊
图像可表示为
1 . 1 成像拖尾效应运动关系模型 对航空摄影 , 其相机通常由双轴稳定平台提供 轴向稳定 , 保证其光轴与地面成一稳定夹角 , 故可忽 略光轴偏转引起的影像运动 , 简化分析 。简化后的
相机、被摄景物与影像的运动关系模型如图 1 所示 。 图中 : S r 为地面的被摄景物; S I , S ′I 分别为曝光开始 与结束时刻被摄景物在 CCD 成像平面上的影像 ;
L c , L I 分别为曝光过程中相机和影像发生的位移 ,
L c , L I 之差 L s 即为拖影长度; D I , D T 分别为镜头的
像距和物距; v I , v c 分别为影像与镜头的移动速度 。
对航空摄影 , 显然 v c 即为载机飞行速度 。 T
g ( x , y ) =
∫
f [ x - [ 3 ] x 0 ( t ) , y - y 0 ( t ) ] d t ( 4)
. 为简化分析 , 设相机沿 x 向运动 , 其拖影速度
为 v s , 此时有 x 0 ( t ) = v s t , y 0 ( t ) 为 L , 则 = 0 ; 图像 x 向宽度
T
g ( x , y ) =
∫
f [ x - x ∈[ 0 , L ] . ( 5)
v s
t , y ] d t
式中 : L 为影像位移 。对式 ( 5) 求导 , 整理后得
f ( x , y ) =
g ′( x , y ) + f ( x - v s T , y ) .
( 6) 若 v s , T 已知 , 则据式
( 6) 即可消除匀速直线运动形 成的模糊[ 3 ]
。
奥林巴斯e-p1
拖影长度测量
由成像拖尾效应的运动关系模型可知 :如能对
拖影长度进行较精确的测量 , 就可由已知的曝光时
间参数和镜头放大倍数求得载机飞行速度。因拖影
长度无法直接测量 , 本文提出了一种基于相关分析 的拖影长度间接测量方案。
2 2 . 1 基于相关分析的拖影长度测量
图像的互相关函数主要用于描述被研究图像与
参考图像间相似度。一般 , 对归一化互相关函数
L c o nv ( f , p ) , 其值越接近于 1 , 表示被研究图像 f ( x ,
y ) 与参考图像 p ( x , y ) 间的相似程度就越高
[ 4 ]
。由
式 ( 6) 可知 :若已知拖影长度 L s = v s T , 则可由带拖
图 1 成像拖尾效应运动关系模型
2008北京 油画Fig. 1
K inemat ics relatio n o f smearing eff e ct
定义相机镜头放大倍数
尾效应的采样图像 g ( x , y ) 得到恢复图像 f r ( x , y ) 。
( 1)
k = 由成像几何关系可得
D I / D T .
显然 , 其恢复精度取决于 L s 的精度。反之 , 若给出
^
拖影长度的估计 L s , 则可通过求取恢复图像与参考
图像的互相关函数值 , 评价恢复效果 , 从而间接实现 对拖影长度估计精度的评价。显然 , 恢复效果越好 ,对应的拖影长度估计与实际拖影长度就越接近 。
设 p ( x , y ) 为无拖尾的参考图像 , g ( x , y ) 为有
L s L I - L c
= D I == k. ( 2)
L c L c D T
式 ( 2) 对时间 t 求导 , 得
d L s d L c
( 3)
= v / v s c = k. d t d t
航空摄影中 , 当载机水平匀速飞行时 , 忽略成像
过程中光线角度变化造成的影响 , 根据 L s 和曝光时
间 T , 即可求得影像相对成像平面的运动速度 ( 即拖 影速度 v s ) , 再由式 ( 3) 可求得相机运动速度亦即载
^
拖尾效应的原始图像 , 其按照 L s 进行恢复处理后得
到的恢复图像为 f r ( g ( x , y ) , L ^ s
) 。建立估计精度评 价函数
L _co nv (^L ) = co n v ( f r ( g ( x , y) , L ^ s ) , p ( x , y) ) . L m_co nv (^L ) = co n v ( f m ( f r ( g ( x , y) , L ^ s ) , ( 7) s 设已知 L s ∈[ 0 , L ] , 可得拖影长度的最优估值
s
L ^ s Δt ) , p ( x , y ) ) .
( 11)
L ^
s op t = { L ^ s : L ^
_co nv (^L ) t s
= s
此时
sup ( L _co nv (^L ) , L ^ s ∈[ 0 , L ]) } . ( 8)
L
^ s op t
= { L ^ s : L m co nv (^L ) = sup ( L m_co nv (^L ) , s
令 CCD 采样所得的数字图像像素尺寸为 d × d 。显然 , 若不考虑运动方向与 CCD 像素排列方向
夹角的影像 , 且 CCD 像素紧密排列 , 由式
( 8 ) 所得 L
^ s op t
的分辨率为 d , 理想状态时的估计精度为 ±d 。
- s
s L ^ s
∈[ 0 , L ]) } .
( 12)
因单 CCD 方案需进行 2 次曝光采样 , 不可避免
会存在时间间隔。虽可通过平移处理消除采样时间
间隔的影响 , 但由于影像在 CCD 平面上的运动 , 实
际采样范围会有不同。当影像在 CCD 平面上存在汇泉影城
较大的相对运动时 , 就会对测量结果造成影响 , 降低
测量精度 。
2 . 2 . 2 双 CCD 同步采样方案
为避免单 CCD 方案中采样时间间隔的影响 , 可 采用双 CCD 同步采样方式 , 利用 2 台设置不同曝光
时间的 CCD 进行采样 , 分别获得无拖尾的参考图像 和有拖尾的测速图像 , 系统结构如图 2 所示。
2 . 2 测速图像获取
由上述分析可知 :在基于相关分析的成像拖影
长度测量方案中 , 需同时提供具拖尾效应的测速图 像 g ( x , y ) 和无拖尾效应的参考图像 p ( x , y ) , 对图 像采集系统提出了新的要求。本文讨论两种测速图 像采集方案。 2 . 2 . 1 单 CCD 两次曝光方案 当影像在成像平面
上移动较慢 , 短时间内变化 较小 ( 如高空航拍) 时 , 可利用航拍相机连续 2 次曝 光得到所需的影像 , 将其中曝光时间较短、无明显拖 尾效应的作为参考图像 , 曝光时间稍长 、有明显拖尾 效应的影像作为测速图像。因参考图像与测速图像 不是同步获得 , 故需作运动补偿。 设载机以速度 v c 匀速飞行 , 其相机放大倍数为 k , 第一次采样得参考图像 p ( x , y ) 。因无明显拖尾 现象 , 故其曝光过程中影像在 CCD 平面上发生的位 移长度可忽略。CCD 两次采样间隔为Δt , 采样间隔 中影像在 CCD 平面上位移为ΔL 。第二次采样得到 测速图像 g ( x , y) , 设其曝光时间为 t s , 曝光过程中 影像在 CCD 平面上位移为 L s 。在载机匀速飞行条 件下 , 显然有
图 2 双 CCD 同步采样系统结构
Fig. 2 Sy nchro n ized sa m p le system w ith dual 2CCD
在双 CCD 同步采样系统中 , 用半透半反分束立
方棱镜将来自同一镜头系统的成像光束分解为 2 束 不同方向的成像光束 , 分别投射至 2 个不同的 CC
D 成像平面 , 经采样得到所需的参考与测速图像 。因 参考图像与测速图像 CCD 的曝光时间不同 , 要求不 同的成像光束强度 , 通过设计半透半反分束立方棱 镜的透射/ 反射率 , 合理分配 2 束成像光束的强度 , 可同时满足两者对成像光束强度的不同要求 。
虽然双 CCD 同步采样系统增大了系统复杂度 ,但保证了采样的同步性 , 在影像移动速度较高时下 仍可保证一定的测速精度 适于低空高速飞行条件
L s v c t s t s
( 9) =Δt .
ΔΔc 设图像 g ( x , y ) 沿运动方向平移 L 后得到的图
输电线路覆冰像为 f m ( g ( x , y ) , L ) 。显然 , 对第二次采样所得的
测速图像 g ( x , y) , 根据其 L ^ s 进行恢复处理后 , 需经 平移运动补偿才可与参考图像进行相关评价 , 以消 除采样间隔中ΔL 的影响 。其补偿长度
Δt ΔL ^ = L s .
( 10)
t s
对加入运动补偿的单 CCD 两次曝光采样方案 ,
3 速度求取与精度分析像叠加了均值0 、方差0 .01 的高斯白噪声, 如图3
( b) 所示。
3 .1 运动速度
由式(3) 可知,
(13)
v c = kv s .
当载机速度变化较小时, 可近似视作匀速直线运动,
此时
( 14)
v c=kL s / t s .
综合式( 12) 、( 14) 即可得载机速度的最优估值
图3 参考与测试图像
Fig. 3 R ef e rence imag e an d testing imag e
kL
^
s op t / t s .
^v
c op t(15)
=
3 .2 影响测速精度因素
定义相对测速误差
^
用Mat l a b软件按式(8) 计算L s op t ,给定拖影长
^
度L s ∈[0 ,50 ]像素,设拖影消除方向与x 轴夹角为
0°。由式(11) 算得由拖影长度估值处理所得的恢复
图像和参考图像的L c o nv 如图4 所示。
^v
c-v c×100 % ,
r =( 16)
v c
由式( 14) ~( 16) 可得
^
k(L s op t L s )
-×100 %
;(17)
r =
kL s
定义拖影长度估计误差
^
L s op t - L s
×100 %.( 18)
r s=L
s
由此可见: r 取决于拖影长度估计误差r s ,两者的数
值相等。考察相机本身性能参数对测速精度的影
响:设
拖影长度L s 估计误差为±d(CCD 像素紧密排列) ,
由式(14) 可知: 相应的载机速度估计误差为±k d/
t s 。显然,较小的相机放大倍数和CCD 像素尺寸可
得较小的测速误差。同样, 适当增加曝光时间t s 利
于提高测速精度,但会增大实际L s 。由式( 8) 可知:
增大L s 会增加计算量,对算法的实时性不利。由此
可见,系统的相对测速精度取决于L s 的估计精度,
绝对测速精度取决于像素尺寸与镜头放大倍数, 增
加曝光时间在一定程度上可提高测速精度, 但会增
加计算量, 影响系统的实时性。
图4 归一化互相关系数
Fig. 4 Normal i zed cross2correlatio n coeff i cient
^
由图4 可知:当L s op t [0 ,5 ]像素内变化时,其恢
复与参考图像的归一化互相关函数在L^s op t = 25 像
素时有一明显峰值,表明由式( 8) 可算得正确的拖影
长度,计算结果准确有效。
为考察算法的鲁棒性,设实际拖影方向与算法
所用的拖影消除方向存在误差, 误差角分别为1°,
2°,3°时的恢复图像和参考图像的归一化互相关函
数如图5 所示。
由图5 可知:当拖影消除方向与实际拖影方向
间的夹角小于3°时,其互相关函数在准确的拖影长算例
因无实际航拍采集的参考与测试图像,本文将
一幅256 像素×256 像素的航拍图像作为参考图像
p( x , y) ,如图3 ( a) 所示。设拖尾方向沿x 轴,以据
式(4) 进行运动模糊处理后所得的图像作为带拖尾
效应的测试图像g( x , y) ,其运动距离(即拖影长度)
为25 个像素宽度。为更好地模拟真实情况,测试图
4
河南工业大学学报度处均出现了明显的峰值, 且高于其他局部峰值。
可认为,在一定的拖影方向估计误差范围内,本文设
计的拖影长度最优估计算法能实现对拖影长度的准
确测量,且具一定的鲁棒性。由峰值高度的变化趋
势可知:相关峰值随误差夹角增大而降低。因此,可
结束语
利用相机成像拖影中包含的相机运动信息 ,本 5 文提出了一种基于成像拖尾效应的图像测速方法 。
基于建立的拖尾效应运动关系模型和拖影生成模 型 ,设计了完整的测速方案与算法。仿真结果表明 : 该法具一定的准确性和鲁棒性 ,有一定的应用前景 ,为飞行器实时飞行速度的测量提供了一种新的
技 术。但本文的基于互相关分析的拖影长度测量算法 尚存在计算量大、对噪声较敏感等不足 ,且当拖影消 除方向与实际拖影方向间夹角增大时测量精度会急 剧下降 ,这些仍需进一步研究 。
参考文献
童剑军 , 邹明福. 基于监控视频图像的车辆测速[ J ] .
中国图象图形学报 , 2005 , 10 (2) : 42245 . 高浩军 , 杜宇人. 基于视频序列图像的车辆测速研究 [J ] . 电子测量技术. 2007 , 30 (2) : 42245 .
张毓晋. 图像处理和分析[ M ] . 北京 : 清华大学出版
社 , 1999 .
熊 智 , 刘建业 , 曾庆化 , 等. 景像匹配辅助导航系
统中的图像匹配算法研究
[ J ] . 中国图象图形学报 , 2004 , 9 (1) : 31236 .
[ 1 ] [ 2 ]
图 5 拖影方向存在误差时的归一化互相关函数
Fig. 5 T he normal i zed cross 2correlatio n coeff i 2
cient w ith the w rong smearing directio n
[ 3 ] [ 4 ] 设计相应的角度估计算法 ,消除拖影角度误差的影 响 ,进一步提高测量精度 。
(上接第 20 页)
具较好的递推结构 ,计算量小 ,易于在弹载计算机上
实现。
参考文献
秦永元. 惯性导航[ M ] . 北京 : 科学出版社 , 2006 .
王洪波
, 汤国建. 箭载捷联惯性导航系统初始对准技 术研究[J ] . 上海航天 , 2005 , 26 (1) : 125 . 徐延万. 控制系统 ( 中) [ M ] . 北京 : 宇航出版社 ,
1990 .
龙乐豪. 总体设计 ( 下) [ M ] . 北京 : 宇航出版社 , 1993 .
秦永元 , 张洪钺 , 汪叔华. 卡尔曼滤波与组合导航原 理[ M ] . 西安 : 西北工业大学出版社 , 1998 .
张 钧 , 赵 忠 , 高茂林. 激光陀螺速率偏频系统初
始对准方法研究 [ J ] . 中国惯性技术学报 , 2006 , 14
(1) : 12216 .
高 伟 , 陆 强 , 曹 洁 , 等. 水下潜器捷联惯导系 统初始对准技术研究[J ] . 中国航海 , 2003 (3) : 528 .
张 毅 , 杨辉耀 , 李俊莉. 弹道导弹弹道学 [ M ] . 长 沙 : 国防科学技术大学出版社 , 1999 . [ 1 ] [ 2 ] [ 3 ] [ 4 ]
[ 5 ] [ 6 ] [ 7 ] [ 8 ]
图 2 本文算法的水平对准精度
Fig. 2
H orizontal al i gnment precisio n o f ne w algorithm