本系列博客包括6个专栏，分别为：《⾃动驾驶技术概览》、《⾃动驾驶汽车平台技术基础》、《⾃动驾驶汽车定位技术》、《⾃动驾驶汽车环境感知》、《⾃动驾驶汽车决策与控制》、《⾃动驾驶系统设计及应⽤》，笔者不是⾃动驾驶领域的专家，只是⼀个在探索⾃动驾驶路上的⼩⽩，此系列丛书尚未阅读完，也是边阅读边总结边思考，欢迎各位⼩伙伴，各位⼤⽜们在评论区给出建议，帮笔者这个⼩⽩挑出错误，谢谢！
此专栏是关于《⾃动驾驶汽车环境感知》书籍的笔记。
1.摄像头标定之内参标定
1.1 概述
1. 标定传感器是⾃动驾驶感知系统中的必要环节，是后续传感器融合的必要步骤和先决条件，⽬的是将两个或多个传感器变换到统⼀的
时空坐标系，使得传感器融合具有意义，是感知决策的关键前提； 2. 车载摄像头以⼀定的⾓度和位置安装在车辆上，为了将车载摄像头采集到的环境数据与车辆⾏驶环境中的真实物体相对应，即到车
透明的距离
载摄像头所⽣成的图像像素坐标系中的点坐标与摄像机环境坐标系中的点坐标之间的转换关系，需要进⾏摄像头标定；3. 传感器的标定是建⽴传感器输出与现实中的值的对应关系； 4. 单⽬视觉的标定实质是建⽴物体在环境坐标系中的坐标与图像坐标系中的坐标之间的关系；
1.2 摄像头内参数标定
1.2.1
摄像头模型的建⽴
上图说明：坐标系是环境坐标系；设现实世界中⼀个物体P，在环境坐标系中的位置为；为了得到P在图像上的投影位置，需要建⽴三个辅助坐标系：摄像头坐标系、图像物理坐标系、图像像素坐标系，最终需要得到的是P点在图像像素坐标系上的投影；1. 摄像头坐标系与环境坐标系的转换
脚踏式垃圾桶Oxyz (x ，y ，z )w w w
1.
摄像头坐标系与环境坐标系的转换
1. 上图说明：摄像头坐标系以镜头中⼼为原点，以垂直镜头平⾯的直线为z轴建⽴空间直⾓坐标系，x轴与y轴在镜头平⾯
上，x，y，z满⾜右⼿坐标系；
2. 摄像头在空间中有⼀个位置，可以建⽴环境坐标系与摄像头坐标系之间的关系[R，T]，其中T为摄像头坐标系原点相对于环境坐
标系原点的平移，即摄像头的镜头中⼼在环境坐标系的坐标，R为摄像头坐标系相对环境坐标系的选择矩阵；3. 空间中的点P在摄像头坐标系中的坐标可以通过以下公式求解：
对上述公式进⾏转换，可得：
2.
图像坐标系与图像像素坐标系
=⎣⎡x c y c z c ⎦⎤R +⎣⎡x w y w z w ⎦
热解焚烧炉⎤T
=⎣⎢⎢⎡x c y c z c 1⎦⎥⎥⎤[R 0T 1]⎣⎢⎢⎡x w y w z w 1
⎦
⎥⎥⎤
1. 上图说明：计算机视觉中，图像常以点阵的⽅式存储，每个像素对应着点阵中的⼀⾏与⼀列；图像像素坐标系完全对应这种关
系；图像像素坐标系以图像左上⾓为原点，向右的⽅向为u坐标轴，向下的⽅向为v轴，像素在该坐标
系下⽤⼆元组(u,v)表⽰；2. 图像像素坐标系符合计算机图像处理逻辑，但图像像素坐标系坐标(u,v)仅仅代表像素的列数与⾏数，不带有任何物理单位，空间
中的坐标点则必须⽤带有单位(如厘⽶、⽶等)的量来表⽰，因此引⼊图像物体坐标系；定义摄像头光轴与图像平⾯的交点为图像主点，图像物理坐标系以主点为原点，x轴与y轴分别平⾏于图像像素坐标系的u轴与v轴；
3. 设像元底边长为width，⾼为height，主点在图像像素坐标系下的坐标为，在不考虑图像畸变的情况下，图像物理坐标 系下的点在图像像素坐标系下的坐标通过如下公式解算：
3.
⼩孔成像与图像物理坐标系
1. 摄像头成像的理论基础是⼩孔成像；
2. 图像物理坐标系的原点与摄像机的光学中⼼重合；
3. 当摄像头坐标系的x轴与y轴与图像物理坐标系的x轴与y轴平⾏时，可以构建起图像坐标系与摄像机坐标系之间的关系；
4. 对于物体P，在摄像机坐标系下的坐标为；根据⼏何关系，有：
因此，有如下关系：
电动车测功机
(u ,v )o o (x ，y )l l =
⎣⎡u v
1⎦⎤⎣⎡width
1
00
0height
10
u o v o 1⎦⎤⎣⎡x l y l 1⎦
⎤
(x ,y ,z )c c c ΔOPA ∼ΔO P A ′′′
=x c x l =y c y l z c
f
则有：
令，则有：
4. 环境坐标系与图像像素坐标系的转换
得到环境坐标系-摄像机坐标系、摄像机坐标系-图像像素坐标系之间的关系后，可解算环境坐标系与图像像素坐标系之间的转换关系；对现实世界的点P，其在环境坐标系下的坐标为，在图像中的位置为，则有如下关系：
化简：
其中，；
1. 矩阵为环境坐标系到摄像头坐标系的坐标转换关系，是摄像头在世界坐标系下的位置姿态矩阵；
2. 在计算机视觉中，确定矩阵的过程称为视觉定位；
3. ⾃动驾驶汽车需要定期对摄像头位置进⾏重新标定，这⼀过程称为校准；
4. 矩阵，其四个常量与摄像机的焦距、主点、传感器等设计技术指标有关，⽽与外部因素(如周边环境、摄像机位置)⽆关，称为摄像头内参；
5. 内参在摄像头出⼚时确定，往往通过实验⽅式确定摄像头内参，对于单⽬摄像头的标定，指通过实验⼿段确定摄像头的内参；
1.2.2 摄像头畸变矫正
x =l ⋅f ⋅x ，y =z c 1c l ⋅f ⋅y z c 1
c
s =z c s ⋅=⎣⎡x l y l 1⎦⎤⎣⎡f 000f 0001000
⎦⎤⎣⎢⎢⎡x c y c z c 1⎦⎥⎥⎤
(x ,y ,z )w w w (u ,v )s ⋅=
⎣⎡u v
1⎦⎤⋅⋅⋅
⎣⎡
width
1000height
10u o
v o 1
⎦⎤⎣⎡f 000f 0001000⎦⎤[R 0T 1]⎣⎢⎢⎡x w y w z w 1⎦⎥⎥
⎤
s ⋅=⎣⎡u v 1⎦⎤=⎣⎡αx 00
0αy 0u o
v o 1000⎦⎤[R 0T 1]⎣⎢⎢⎡x w y w z w 1⎦⎥
⎥⎤
电解提银M M X 12w
α=x ，α=width f
y height f
M 2M 2M 1α，α，u ，v x y o o
1. 摄像头通常存在透镜畸变，即物点在实际的摄像头成像平⾯上⽣成的像与理想成像之间存在⼀定光学畸变误差，畸变误差主要分为径
向畸变误差和切向畸变误差；
2. 径向畸变误差：沿着透镜半径⽅向分布的畸变，产⽣的原因是光线在远离透镜中⼼的地⽅⽐靠近中⼼的地⽅更加弯曲；
3. 切向畸变误差：由于透镜本⾝与摄像头传感器平⾯(成像平⾯)或图像平⾯不平⾏⽽产⽣的，这种情况多是由于透镜被粘贴到镜头模组上
的安装偏差导致；
4. 畸变是透镜的固有特性，⽆法消除，只能改善；
5. 在⾃动驾驶汽车上，影响摄像头⼯作的畸变⼀般两种：桶形畸变和枕形畸变；
6. 枕形畸变：由镜头引起的画⾯向中间"收缩"的现象；在使⽤长焦镜头或变焦镜头的长焦端时，容易看到枕形畸变；
盲文图书7. 桶形畸变：由于镜头中透镜物理性能及镜⽚组结构引起的成像画⾯呈桶形膨胀状的失真现象；在使⽤⼴⾓镜头或使⽤变焦镜头的⼴⾓
端时，容易看到桶形畸变；桶形畸变与枕形畸变统称径向畸变；
8. 对⼀般摄像头来讲，图像的径向畸变描述为低阶多项式模型；设观测到的图像中的某个像素在没有畸变情况下的图像像素坐标
为，则两者之间的变换通过以下公式确定：
其中：称为径向畸变系数，属于摄像头内参；
9. 标定畸变系数⽅法：铅垂线⽅法(plumb-line method)；基本思想：拍摄多条直线，特别是与图像的边缘对齐的场景图像，然后通过
调整畸变参数来使得图像中所有的线条都变成直线；
10. 标定畸变系数其他⽅法：使⽤若⼲重叠图像，将径向畸变参数的估计与图像配准过程相结合，典型代表：Sawhney and
Kumar(2009)，其将多层次运动模型与⼆次畸变矫正项⽤在⼀个从粗到精的过程中，使⽤基于亮度的最⼩化⽅法计算配准；Stein(1997)使⽤基于特征的⽅法，结合三维运动模型和⼆次径向畸变，进⾏畸变矫正与配准；
1.2.3 摄像头内参标定⽅法
1. 常⽤标定⽅法：平⾯标定模式与⾃标定；
2. 平⾯标定模式：指制作⼀块标定板，在⼯作区的空间内使⽤⼀种可控的移动⽅式来移动该⽬标，这种⽅法称为"N-平⾯标定法"；
3. 平⾯标定模式应⽤最⼴泛的是：张正友标定法；张正友标定法通过在不同位置拍摄棋盘标定板的⽅式，在每个图像中到棋盘标定板
的内⾓点，通过内⾓点之间的对应关系建⽴对矩阵的约束，从⽽恢复内参矩阵；4. 当没有标定板时，可以通过摄像机的运动来进⾏标定，这种不使⽤已知⽬标进⾏标定的⽅法称为⾃标定；
(u ，v )(u ，v )′′{
u v =u (1+k r +k r )
′1c 22c 4
=v (1+k r +k r )′
3c 24c 4r =c 2
u +′2v ；k ，k ，k ，k ′21234B =K K −T −1K
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议