第24卷第11期2001年11月
计算机学报
CHINESE J.COMPUTERS
Vol.24No.11
NoV.2001
吴福朝
1D 2D
胡占义
1D
1D
(中国科学院自动化研究所模式识别国家重点实验室
北京100080D
2D
(安徽大学人工智能研究所
合肥230039D
收稿日期:2000-02-03；修改稿收到日期:2000-09-18.本课题得到国家自然科学基金(69875001 69975021 60033010D ~国家~九七三 重点基础研究发展规划项目(G 1998030502D 和中国科学院重大交叉学科前沿项目资助.吴福朝 男 1957年生 教授 博士生导师 目前感兴趣的研究领域是计算机视觉 主要研究方向为3D 重构~主动视觉以及基于图像的建模与绘制.胡占义 男 1961年生 博士 研究员 博士生导师 主要研究方向为摄像机标定与三维重建~主动视觉~几何基元提取~视觉机器人导航~基于图像的建模和绘制.
摘要
文中提出一种新的摄像机线性自标定的算法和理论.与文献中已有的方法相比 该文方法的主要优点是对
摄像机的运动要求不苛刻 如不要求摄像机的运动为正交运动.该方法的关键步骤是确定无穷远平面的单应性矩阵(Homography D.文中从理论上严格证明了下述结论：摄像机作两组运动参数未知的运动M 1={(R 1 I 11D (R 1 I 12D } M 2={(R 2 I 21D (R 2 I 22D } 若下述两个条件满足:(1D T 1={I 11 I 12} T 2={I 21 I 22
}是两个线性无关组(即本组内的两个平移向量线性无关D ;(2D R 1 R 2的旋转轴不同 则可线性地唯一确定摄像机的内参数矩阵和运动参数.另外 在四参数摄像机模型下 严格证明了一组运动可线性地唯一确定摄像机的内参数矩阵和运动参数.模拟实验和实际图像实验验证了本文方法的正确性和可行性.关键词
摄像机自标定 无穷远平面 单应性矩阵
中图法分类号:TP 391
A New Theory and Algorithm of linear Camera self Calibration
WU Fu -Chao
1D 2D
HU Zhan -Yi
1D
1D
(Natzona la}olatol y o f P att e ln ReC o g nztzon 1n s tzt z t e o f Az to m atzon Ch zn ese AC a cem y o f SC z e n Ces Be z j zn g 100080D
2D
(1n s tzt z t e o f A ltz f z C za 1nt e z ge n Ce A n hz z U nz ze l s zty Hefe z 230039D
Ab S tra c t Act iV e Vi S ion b a Sed c am e ra c ali b ra t ion i S on e o f t h e ma j or r eSe ar c h d ir ect ion S in 3D
c ompu te r Vi S ion .A n ew t h e ory an
d algori t hm o f lin
e ar c am e ra c ali b ra t ion i S propo Sed in t hi S pap e r .Compar ed w i t h t h e r e la ted tec hni
g u eS r e por ted in t h e li te ra t ur e t h e main a d Van t ag e o
f our m et ho d i S t ha t i t i S l eSS St rin
g e n t t o t
h e c am e ra S mo t ion f or ex ampl e
i t d o eS no t r eg uir e t h e c am e ra t o un de r t a ke or t hogonal mo t ion S w hi c h ar e d i ff i c ul t t o be d on e w i t hou t S p ec ial har dw ar e S uppor t .Our m et ho d c an be e a S ily d on e w i t h a han d -h e l d c am e ra .Th e ke y Ste p in our n ew m et ho d i S t o dete rmin e lin e arly t h e homography o f t h e plan e a t in f ini t y .In t hi S pap e r we proV e rigorou S ly t h e f ollo w ing c on c lu S ion :ASS um e t h e c am e ra un de r t a keS tw o S u c h SetS o f mo t ion S
w i t h un k no w n param ete r S M 1={(R 1 I 11D (R 1 I 12D }an d M 2={(R 2 I 21D (R 2 I 22
D } an d i f t h e
f ollo w in
g tw o c on d i t ion S ar e S a t i Sf i ed t
h e n t h e c am e ra S 5in t rin S
i c param ete r S tw o ro t a t ion S ma t ri ceS R 1 R 2 a S we ll a S t h e d ir ect ion S o f t h e f our t ran S la t ion V ect or S c an be lin e arly an d
uni g u e ly dete rmin ed :(1D I 11an d I 12ar e lin e arly in de p e n de n t an d I 21an d I 22
ar e lin e arly
in de p e n de n t ;(2D Th e tw o ro t a t ion a xeS o f t h e tw o ma t ri ceS R 1 R 2ar e no t parall e l .In a dd i t ion S uppo Se t h e c am e ra S Skew param ete r i S ze ro we proV e a dd i t ionally t ha t t h e c am e ra ma t ri x an d t h e ro t a t ion ma t ri x c an be uni g u e ly f a ct ori zed f rom t h e homography o f t h e plan e a t in f ini t y .Simula t ion S an d ex p e rim e n tS Vali d a te our n ew m et ho d .K eyword S
c am e ra Se l f -c ali b ra t ion plan e a t in f ini t y
homography
1
引言
摄像机标定是从二维图像获取三维物体几何信息必不可少的步骤.自从1992年Hartley [1]和
Faugeras [2]
首次提出摄像机自标定的思想后 摄像机自标定及相关研究目前已成为计算机视觉领域的研究热点之一.近年来在国际计算机视觉会议(ICCV )~欧洲计算机视觉会议(ECCV )~计算机视觉和模式识别会议(CVPR )~国际模式识别会议(ICPR )以及相关领域的重要国际杂志上大量相关内容文章的问世充分说明了这一点[1 32].
尽管文献中有各式各样摄像机自标定方法的报导 但大多数的研究究其本质 均是基于绝对二次曲线(the absolute conic )或其对偶绝对二次曲面(the absolute guadric )的方法.在这些方法中都需要解一个非线性方程组或解相应的非线性规划问题 除噪声影响之外 而且对初值的选择十分敏感.近年来人们研究发现 基于绝对二次曲线和基于绝对二次曲面的摄像机自标定方法往往很不鲁棒.那么 是否存在线性自标定方法呢由于线性方法计算简单 在数值上比非线性方法稳定 一直是摄像机标定所追求的目标.Hartley [8 25]通过摄像机绕光心作纯旋转运动 给出线性自标定方法.由于实际操作中摄像机光心的具体位置并不知道 因此事实上人们无法控制摄像机作绕光心的纯旋转运动 从而这种方法的具体应用价值受到了限制.马颂德研究员[31]首次利用主动视觉系统对摄像机运动的可控性 提出了自标定的线性方法.这种方
法通过控制摄像机在三维空间作两组平移运动 其中每组运动包括三次两两正交的平移运动(简称三正交平移运动) 利用极点(epipoles 在文献[31]中称作FOE (Focus of Expansion ))建立一个线性方程约束组来求解摄像机内参数.在三维空间控制摄像机作三正交平移运动 在普通的Pan _Tilt _Translation 主动视觉平台
上是难以实现的.杨长江等人[32]就此提出了一种改
进方法 要求摄像机作四组平移运动 其中每组运动包括两次相互正交的平移运动 利用极点仍可线性求解摄像机内参数.但马和杨均是在四参数即畸变因子为零的摄像机模型下实现线性自标定的.在五参数摄像机模型下 利用他们的方法 不可能线性求解.对此吴福朝等人[33]利用场景的平面信息 提出控制摄像机作五组平移运动 其中每组运动包括两次相互正交的平移运动 线性求解摄像机所有5个内参数的方法.在上述这些线性方法中 均需要借助主动视觉平台来控制摄像机作正交平移运动 这限制了这些方法在一般场合的应用.本文给出一种在一般实验平台上就可实现的线性自标定方法和理论.
本文从理论上严格证明了下述结论：在五参数摄像机模型下 摄像机作两组运动 M 1={(R 1 t 11) (R 1 t 12) M 2=(R 2 t 21) (R 2 t 22)}若下述两个条件同时满足:(1)T 1={t 11 t 12} T 2={t 21 t 22}是两个线性无关组(即本组内的两个平移向量线性无关);(2)R 1 R 2的旋转轴不平行 则可线性地唯一确定摄像机内参数矩阵和运动参数.在四参数模型下 摄像机仅作一组运动 即可线性唯一确定摄像机内参数和运动参数.
关于运动组M ={(R t 1) (R t 2)} 不难按下述方式实现：首先控制摄像机作一般刚体运动(R t 1) 再保持摄像机的姿态不变作纯平移运动t 12 则摄像机的最终状态相对于初始状态的运动为(R t 2) 如图1(a )所示.显然 运动组实际上只是包含一次任意的刚体运动和一次任意的平移运动 因此摄像机的一次平移运动和二次任意的刚体运动 可构成上述两个运动组M 1 M 2 如图1(b )所示 其中D 为平移运动 和 为刚体运动.显然 上述实现方式不需要特殊的设备即可完成 所以本文所给的自标定方法具有广泛的实用性
.
2
计算机学报
2001年
本文的主要思想是：线性地确定两个运动组下无穷远平面对应的两个单应性矩阵，再根据无穷远平面的单应性矩阵建立约束内参数的线性方程组，从而解出内参数.
2基本矩阵(f undamental matrix)与平面的单应性矩阵(hOmOgraphy)
2.1五参数模型
在本文中假定摄像机模型为经典的针孔模型，即假定摄像机内参数矩阵为
K=
f~S~O O f U U O T
L O O1
,
其中,~
O,U O 表示主点坐标(~
O,U O);f~
为图像~轴的
尺度因子;f
U
为图像U轴的尺度因子;S为畸变因子.
2.2基本矩阵
一对视点的基本矩阵，是极几何的代数刻划.令91E I1,92E I2是一对极点,I1,I2分别是第一幅和第二幅图像，若对任意的一对匹配点m1E I1,m2E I2，矩阵F使得
Fm1=A92>m2或(m2)T Fm1=O(1)其中A为一常数因子，则称F为基本矩阵.基本矩阵在相差一个非零常数的意义下是唯一的，且具有下述性质:
rank(F)=2,F91=O,F T92=O(2)给定8对以上图像匹配点可线性计算基本矩阵1O]，从而可计算极点.
2.3平面的单应性矩阵
令m1=(m1
1,m12,1),m2=(m21,m22,1)分别是平
面上的点X在两个视点下的对应像素的齐次坐标，如果矩阵H使得
Sm2=Hm1(3)其中S为非零常数因子，则称矩阵H为平面关于两个视点间的单应性矩阵(以下简称平面的单应性矩阵).单应性矩阵在相差一个非零常数因子的意义下是唯一的，它实现平面在两个视点下图像点间的一一对应关系，如图2所示.
假定两个不同视点摄像机坐标系之间的关系为x2=Rx1+t，则平面的单应性矩阵H可表示为
H~KRK-1+K tn T
c
K-1(4)
其中n为平面的单位法向量,c为坐标原点到平
面的距离.~表示在相差一个常数因子意义下
的相等
.
在式(4)中，当c-O时,H-KRK-1，记
H O~KRK-1(5)
称它为无穷远平面
O
的单应矩阵.
下面讨论在同一对视点下，所有平面单应性矩
阵之间的关系.
摄像机作刚体运动(R,t)，运动前所摄的图像称
为图像1，运动后所摄的图像称为图像2,H为空间
某个平面的单应性矩阵,9=(
1,2,1)T
为第二幅图
像上的极点，则该二幅图像间的基本矩阵为5]
F~9]>H.其中矩阵9]>表示由向量9构成的
反对称矩阵.考虑下述关于矩阵X的方程:
F=9]>X(6)
我们有以下结论.
命题1.
(1)矩阵方程(6)的所有解为
X=H+9x T,V x=(s1,s2,s3)T E3()
(2)对于空间任何一张平面的单应性矩阵
H r，均存在(S r,x r)T E4使得
S r H r=H+9x T r(8)
证明.
先证(1).方程(6)是一个线性方程,H是它的一
个特解.我们只须证明对应的齐次方程:9]
>X h=O
的通解为X
h=9x T
即可,V x=(s
1,s2,s3)T E3.
令
X h=
三棱柱s s8s
s4s5s6
s1s2s
T
L3
，直接从方程
O1-2
-1O1
2-1
T
L O
s s8s
s4s5s6
s1s2s
T
L3
=O
可解得
3
11期吴福朝等：摄像机自标定的线性理论与算法
S 7=e 1S 1 S 8=e 1S 2 S 9=e 1S 3 S 4=e 2S 1
S 5=e 2S 2
S 6=e 2S 3
(9)
所以有
X h =e 1S 1e 1S 2e 1S 3e 2S 1e 2S 2e 2S 3S 1S 2S
J
3=ex T V x =(S 1 S 2 S 3)T
汤芳艳图
3
(1O)
再证(2).因为对任一平面 的单应性矩阵H T [e ]>H T 也为基本矩阵.由于同一对视点下的基本矩阵在相差一个非零因子的意义下是唯一的 所以存在非零常数s T 使得s T [e ]>H T =F % 于是s T H T 是方程
(6)的一个解.这样由命题1中(1) 存在x T 3
使得s T H T =H %+ex T T .
证毕.命题1中的结论(2)说明了同一对视点下所有平面单应性矩阵之间的关系.下面我们将应用这种关系来确定无穷平面的单应矩阵.2.4
无穷远平面的单应性矩阵
摄像机作刚体运动(R t ).则运动前后二图像间无穷远平面 O 所对应的单应性矩阵为H O =
KRK -1 由命题1的结论(2) 存在x O 3 s O 1
使得
s O H O =H %+ex T O
(11)其中H %为空间某个有限远平面的单应性矩阵.
摄像机作包含两次刚体运动的运动组M ={(R t 1) (R t 2)} 正如引言所言 这样的运动组是不难控制的.显然 第一次运动下与第二次运动下无穷远平面对应的两个单应性矩阵相同 它们均为
H O =KRK -1
.下面我们考虑H O 的计算问题.
令H 1为摄像机第一次运动下空间某个有限远
平面的单应性矩阵 H 2为摄像机第二次运动下空间某个有限远平面的单应性矩阵 由命题1 我
们有
s 1
O
authorware作品H O =H 1+e 1
(x 1O
)
T
(12)s 2O H O =H 2+e 2(x 2O )
T
(13)
于是有
1s 1O H 1+e 1(x 1O )C D T =H O =1s 2O
H 2+e 2(x 2O )C D T (14)
即
s 2O s 1O H 1+e 1s 2
O s 1O
(x 1O )C D
T -e 2(x 2O )T
=H 2(15)式(15)表明，下述方程(16)关于(s x 1 x 2)总有解 即方程(16)是相容的.
sH 1+e 1(x 1)T -e 2(x 2)T =H 2
(16)
如果能证明方程(16)有唯一解(s % x 1% x 2
%) 则必有H O =s 2H 2+e 2(x 2%)C D
T
(17)
其中 s 2为常数因子.由于De (H O )=1 所以
s 2=De H 2+e 2(x 2%)C D []T
-1
3
(18)这样 我们就可以通过有穷远平面的单应性矩阵确
定无穷远平面的单应性矩阵H O .
命题2.控制摄像机作二次运动M ={(R t 1) (R t 2)} H 1为摄像机第一次运动下空间某个有限远平面的单应性矩阵 H 2为摄像机第二次运动下空间某个有限远平面的单应性矩阵
(1)若t 1 t 2线性无关 则方程(16)关于(s x 1 x 2)有唯一解.
(2)设方程(16)的唯一解为(s % x 1% x 2
%) 则H O =De H 2+e 2(x 2%)C D []
T -1
3
H 2+e 2(x 2%)C D
T
(19)
证明.
由上面的讨论 我们只须证明(1).
由于方程(16)是相容的 要证明它有唯一解 只须证对应的齐次方程,
损益表分析
sH 1+e 1(x 1)T -e 2(x 2)T =O
(2O)只有零解.它可写成如下形式,
Ax =O
(21)
其中
A =
h 111e 11O O -e 21O O h 112O e 11O O -e 21O h 113O O e 11O O -e 21h 121
e 12O O -e 22O O h 122O e 12O O -e 22O h 123O O e 12O O -e 22h 1311O O -1O O h 132O 1O O -1O h 1
33
J
O
O
1
O
O
-1x =(s S 11 S 12 S 13 S 21 S 22 S 23)T
h 111h 112h 113h 121h 122h 1
23h 131h 132h 13 J
3=H 1.因t 1 t 2线性无关且内参数阵K 是满秩的 而极点
e 1= 1Kt 1 e 2= 2Kt 2 所以e 1=(e 11 e 12 1)T e 2
=
(e 21 e 22 1)T 也线性无关.记H 1的列向量分别为 1
1 1
2 1
3 由于f af k (H 1)=3 所以{ 1
e 1 e 2} =1 2 3中至少存在一组是线性无关的.不妨假定{ 11 e 1 e 2
}
线性无关 则由式(21)中系数矩阵的第1 4 7行所对应的方程 可知
4
计算机学报
2OO1年
S =I 11=I 2
索菲-丽德
1=O
由于e 1 e 2线性无关 再从其它方程可推知
I 12=I 22=I 13=I 23=O
因此式(21)仅有零解 从而式(16)有唯一解.证毕.命题2说明 控制摄像机做一组上面所述的运动 如果已知某个有穷远平面的单应性矩阵 那么我们就可以线性地确定该组运动下无穷远平面的单应性矩阵.但在实际情况中 如果场景中不包含物理平面 我们如何求一个有穷远平面的单应性矩阵呢这是下节所要讨论的问题.2.5虚拟平面的单应性矩阵
给定两幅图像间不共线的三对图像匹配点 它们对应的空间点唯一确定一个有穷远平面 .由于场景中并不存在这个物理平面 所以我们称它为虚拟平面.对于虚拟平面 它所对应的单应性矩阵总是存在的.下面我们讨论如何确定这个平面的单应性矩阵.
命题3.m z =(m z1 m z2 1)T -m /z =(m /z 1 m /z 2 1)T z =1 2 3是两幅图像间的三对匹配点 其中m z (z =1 2 3)不共线 m /z (z =1 2 3)也不共线 对应的虚拟平面记为 则平面 的单应性矩阵为
H ~M /diag (M/-1e/)1(M -1e)1 (M/-1e/)2(M -1e)2 (M/-1e/)3(M -1
e)()
3
M -1
(22)
其中 M /=m/11m/21m/31m/12m/22m/3211A T L J 1 M =m 11m 21m 31m 12m 22m 32T L
J
111
e E I e /E I /是极点 (X )z 表示向量X 的第z 分量.证明.
事实上 因m z -m /z 是匹配点 所以存
在常数A z 使得
A z m/z =Hm z
z =1 2 3生物诊断
(23)
于是有A 1m/11
A 2m/21A 3m/31A 1m/12A 2m/22A 3m/32A 1
A 2
A T L
J
3=H m 11
m 21m 31m 12
m 22m 32
T L J
11
1(2A)
因m z =(m z1 m z2 1)T 不共线 所以有
Der
m 11m 21m 31m 12m 22m 32T L J
1
1
1= (m 1 m 2 m 3) O (2 )
其中 (m 1 m 2 m 3)表示由图像点m 1 m 2 m 3所确定的三角形面积.于是从式(2A)有
H =M /diag (A 1 A 2 A 3)M
-1
(26)下面确定常数A 1 A 2 A 3.由于极点e E I e /E I /总是平面 的一对匹配点 所以可令
Ae/=M/diag(A 1 A 2 A 3)M -1e
(27)
于是有
A z =A (M/-1e/)i
(M -1e)z
z =1 2 3
(28)因此
H ~M /diag (M/-1e/)1(M -1e)1 (M/-1e/)2(M -1e)2 (M/-1e/)3(M -1
e)()
3
M -1
证毕.
根据命题3 结合命题2 我们有下述命题.
命题4.摄像机作运动组M ={(R t 1) (R t 2)} 若t 1 t 2线性无关 则可线性地唯一确定该组运动下无穷远平面的单应性矩阵H O .2.6
求解H O 的算法
(1)计算运动组M ={(R t 1) (R t 2)}下的两个
基本矩阵F 1 F 2 并由基本矩阵计算极点e 1 e 2G
(2)若场景中包含物理平面 计算对应的单应性矩阵H 1 H 2G 否则计算虚拟平面的单应性矩阵G
(3)解线性方程组(16) 确定该运动组下关于无穷远平面的单应性矩阵H O .
3
摄像机自标定与运动参数的线性方法
3.1
自标定的线性理论命题5.
摄像机作两组运动M 1={(R 1 t 11)
(R 1 t 12)} M 2={(R 2 t 21) (R 2 t 22)} 若下述两个条件满足:
(1)T 1={t 11 t 12} T 2={t 21 t 22}是两个线性无关组G
(2)R 1 R 2的旋转轴不相同 则可线性地唯一确定摄影机内参数矩阵K .
证明.
事实上 由于T 1={t 11 t 12} T 2=
{t 21 t 22}是两个线性无关组 根据前两节的讨论 我们可计算出两组运动下无穷远平面所对应的两个单
应性矩阵H 1O H 2
O 即
H 1O =KR 1K
-1
H 2O =KR 2K
-
1
(29)于是有
H 1O K =KR 1
H 2O K =KR
2
(3O)
两边转置有
K T (H 1O )
T
=(R 1)T K T K T (H 2O )
T
=(R 2)T K T (31)
11期
吴福朝等：摄像机自标定的线性理论与算法
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议