本系列博客包括6个专栏，分别为：《⾃动驾驶技术概览》、《⾃动驾驶汽车平台技术基础》、《⾃动驾驶汽车定位技术》、《⾃动驾驶汽车环境感知》、《⾃动驾驶汽车决策与控制》、《⾃动驾驶系统设计及应⽤》，笔者不是⾃动驾驶领域的专家，只是⼀个在探索⾃动驾驶路上的⼩⽩，此系列丛书尚未阅读完，也是边阅读边总结边思考，欢迎各位⼩伙伴，各位⼤⽜们在评论区给出建议，帮笔者这个⼩⽩挑出错误，谢谢！ 此专栏是关于《⾃动驾驶汽车环境感知》书籍的笔记。
1.摄像头标定之外参标定
1. 确定多摄像头之间的相对位置关系，这个过程称为摄像机的外参标定；
2. 摄像机的外参标定称为"姿态估计"问题，两个摄像头之间相对位姿[R|t]有6个⾃由度(空间位置(x,y,z)与旋转关系)；理论上说，只要两个摄像头同时获取空间中3个点即可恢复⼆者之间的相对姿态；从三对对应点恢复摄像头之间的相对姿态问题，称为"透视三点问题"(Perspective-3-Point-Problem，P3P); 三维网页3. 实际应⽤中，常使⽤3个以上的点来恢复相对姿态，P3P问题被推⼴为PnP问题；
4. 最初解决PnP问题采⽤直接线性法(Direct Linear Transform，DLT)，之后提出了健壮线性化的重投影误差，开始采⽤迭代的⽅法求解PnP问题，并提出了姿态估计中著名的光束平差法(Bundle Adjustment，BA)；胶囊模具
红外光通讯5. ⾃动驾驶汽车中，典型的外参标定有双⽬摄像头的外参标定、长焦摄像头与⼴⾓摄像头的外参标定；
6. 双⽬⽴体视觉(Binocular Stereo Vision)基于视差原理并利⽤成像设备从不同位置获取被测物体的两幅图像，通过计算图像对应点间
的位置偏差，来获取物体三维⼏何信息的⽅法；
1. 上图中，要求两个摄像头光轴平⾏、光⼼处于同⼀⽔平线上，在标准双⽬视觉中，要求摄像机的型号、配置、内参等完全⼀样；在双⽬标定之前，需要对两个摄像头的内参分别进⾏校准；
融合蛋白分离纯化
2. 上图中，分别为左、右摄像头光⼼，分别为左、右成像中⼼；线段和长度相同，均为摄像机有效焦距；摄像头的基准线平⾏于轴，且基准线长为；
3. 设空间中有⼀点P，P在左、右摄像头坐标系下的坐标分别为，点P通过透镜成像在像平⾯上的点分别为，在左图像坐标系下的坐标为，在右图像坐标系下的坐标为；
4. 设左侧摄像头相对于环境坐标系的旋转矩阵为，平移量为，右侧摄像头相对于环境坐标系的旋转矩阵为，平移量为，(α,β,γ)O ，O 12O ，O ′O O 1O O 2′f X L P (x ，y ，z )、P (x ，y ，z )c 1c 1c 1c 2c 2c 2P 、P 12P 1P (x ，y )111P 2P (x ，y )222R ∗T ∗R ∗T ∗ 4. 设左侧摄像头相对于环境坐标系的旋转矩阵为，平移量为，右侧摄像头相对于环境坐标系的旋转矩阵为，平移量为，
则摄像头之间的关系表⽰：5. 上图中，两台摄像头的光轴不是平⾏的，同时两台摄像头间的基线也没有对准，此时，必须对两台摄像头的坐标系进⾏相应的平
移和旋转才能达到理想的效果；
6. 通过旋转矩阵R来实现图像平⾯的旋转，根据Bouguet算法，将右摄像头图像平⾯旋转到左摄像头图像平⾯的旋转矩阵被平分为
两部分，左、右摄像头分别各旋转⼀半；
7. 平移通过平移向量T实现，表⽰将⼀个图像平⾯坐标系的原点平移到另⼀个图像平⾯坐标系原点的平移向量；以左摄像头图像平
⾯原点为基准，将右侧摄像头图像原点平移到左侧图像原点上，则平移向量；
8. 按如下公式进⾏平移和旋转，即可使两摄像头平⾯的光轴相互平⾏，同时能保证两摄像头间的⾏对准：
9. 设空间中有三维点p，左摄像头的光⼼与点p的射线⽤表⽰，则点p在左图像中的观测位置为；设左摄像头与右摄像
头间的变换关系为[R|t]，则点p在右图像中的坐标为；经过变换，可得与的约束关系：
上式中，称为本质矩阵(essential matrix)；在左、右图像中出若⼲个对应点来求解本质矩阵，通过本质矩阵进⼀步分解出
[R|t]，这样就实现了双⽬摄像头外参标定；
双⽬摄像头的标定步骤：
1. 对原始的左右视图分别进⾏内参标定，根据内参进⾏畸变矫正；
太阳影子定位技术2. 根据对应特征点计算本质矩阵；
3. 从本质矩阵中恢复出摄像头外参[R|t]；
4. 进⾏图像剪裁；R 1∗T 1∗R 2∗T 2∗
R =∗R R ；T =2∗1∗−1∗T −2∗R T ∗1∗
P r P 1T =P −1P r P =corrected R (P −∗T )ca3420
∗x ^0p =0d 0x ^0d =1x ^1Rp +0t x ^0x ^1E =x ^1x ^00
E
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议